Už v sedmnácti letech odehrál za Arsenal ve své první sezoně 30 utkání. Byl nejmladším hráčem, který dovršil 100, 200 a nakonec počtu 400 odehraných utkání. V historii klubu je stále zapsán tučným písmem, ať už to bylo díky jeho elegantnosti nebo počtu odehraných utkání.

David přišel do Arsenalu v roce 1973. Ve svých šestnácti letech hrál v mládežnických týmech Arsenalu, ale již v sedmnácti debutoval za A-tým a i když mu bylo tak málo, odehrál ve své první sezoně 30 utkání. V následující sezoně se stal velmi platným a hlavně důležitým hráčem pro tým.

Klidný stoper byl dobře známý především dobrým čtením hry a také elegantním stylem, jakým hrál. V dresu s kanonem na prsou získal s Arsenalem první trofej v roce 1979 a to v FA Cupu. Kanonýři tehdy porazili Manchester United 3:2. Ve finále FA Cupu se objevil i v roce 1978 a 1980, dále hrál také finále soutěže Pohár vítězů pohárů. Všechny tyto tři zmiňovaná finále ale společně s Arsenalem prohrál. Brzy také dostal kapitánskou pásku, kterou ale po 18 měsících předal Grahamu Rixovi.

David O'Leary v Arsenalu trhal rekordy. Byl nejmladším hráčem, který kdy za Arsenal odehrál 100 utkání, dále 200 utkání a tento rekord se zastavil až na čísle 400. Když dovršil rovnou čtyřstovku, bylo mu pouhých 26 let! V listopadu roku 1989 překonal další rekord. Tentokráte Georga Armstronga v počtu odehraných utkání za Arsenal, kterých měl celkem 621. Od té doby nebyl O'Leary tak často členem základní sestavy tehdejšího manažera Arsenalu George Grahama. Manažer The Gunners totiž začal dávat více příležitosti Tony Adamsovi a Stevu Bouldovi. David v sezoně 1988/1989 odehrál celkem 20 utkání a získal s Arsenalem ligový titul.

V roce 1991 získal s Arsenalem další ligový titul. O dva roky později slavil další dva úspěchy - vítězství v FA a Carling Cupu, ale byl stále využíván především jako náhradník. Londýnský klub opustil po 19 letech, v roce 1993, a odešel do Leeds United. Za Arsenal celkem odehrál 722 utkání.

Ve své první sezoně byl členem prvního A-týmu. Celou další sezonu toho ovšem moc nenahrál, jelikož utrpěl zranění „Achilovy šlachy“. V sezoně 1995/1996 byl ještě s klubem plně spjat, ovšem v září se rozhodl, že již nadále nebude bojovat s neustálými problémy se zraněními, a tak ukončí svoji kariéru.

V reprezentaci Irska debutoval v roce 1976 a to proti Anglii. Největšího úspěchu dosáhl na Mistrovství světa 1990 v Itálii, kdy proti Rumunsku proměnil rozhodující penaltu a díky němu Irsko vyhrálo na penalty 5:4.

David O'Leary ale s fotbalem neskončil. Když totiž do Leeds United přišel bývalý manažer Arsenalu George Graham, David se stal jeho asistentem. Tuto funkci zastával další dva roky, ovšem poté odešel Graham do Tottenhamu. Vedení klubu navrhlo, aby se manažerem stal Martin O'Neill, ale k podpisu smlouvy nedošlo, a tak se manažerem stal právě David. Bývalý irský reprezentant se společně s Leeds United dostal do finančních problémů a poté odešel.

V sezoně 2002/2003 byl O'Leary spojen s řadou klubů. Největším kandidátem byl Sunderland, ale David nakonec usedl na lavičku Aston Villy.

Birminghamský klub má bohatou historii, ale v té době zrovna neměl svá nejlepší léta. V určitých časových intervalech se nacházel až na samém konci tabulky a kolikrát se musel zachraňovat. O'Leary je z toho ale „vytáhl“ a dokonce už to vypadalo, že Villa dosáhne na Pohár UEFA, což se mu ale nakonec nepovedlo. V sezoně 2004/05 do týmu O'Leary přivedl Martina Laursena, Mathieu Bersona a Carltona Cola. Mimo jiné přivedl i Čecha Milana Baroše z Liverpoolu a Kevine Phillipse, ale ti byli v sezoně 2005/06 velkým zklamáním.

Aston Ville se poté opět začalo nedařit, přišlo mnoho zranění a fanoušci se modlili nad setrváním klubu v Premiership. David O'Leary byl nakonec 19. července 2006 z klubu odvolán.