Doyle Brunson 1933. augusztus 10-én született a texasi Robyban, Mealie és John Brunson gyermekeként. Ez a terület tanyák, hatalmas üres prérik és gyapotültetvények vidéke volt. Brunsonék a gyapotfarmjukon éltek a Longworth nevű kisvárosban, ahol mindössze körülbelül 100 ember élt - mindenki ismert mindenkit, az emberek hajlandóak voltak segíteni egymásnak a bajban, és gyakorlatilag nem voltak ellenségek. Szülein kívül idősebb testvérei - nővére Lavada és bátyja Lloyd is a háztartásban éltek. Amerikában nagy gazdasági válság volt, nehéz volt munkát találni, és sok családnak meg kellett húznia a nadrágszíjat.
"Nem volt áram, folyóvíz vagy csatorna a házban. A vizet egy ciszternából ittuk, amely a tornácon volt, és onnan vödrökben hordtuk a házba. A kinti kádban fürödtünk, ahol a szennyest is mostuk. Amikor a kád megtelt, mindenki megfürdött benne, és én, mint a legfiatalabb, mindig utolsónak mentem. Az áramot körülbelül 7 éves koromban vezették be nálunk, a zuhanyzóról csak tizenévesen szereztem tudomást. Az élet nem volt könnyű, de másrészt nem volt lopás, verekedés, intrika, a szülők nem aggódtak a gyerekek miatt, és mi minden napunkat a szabadban tölthettük. Mire 8-9 éves lettem, már gyapotot szedtem és ekkor jöttem rá, hogy van egy álmom. Egy álom, hogy elhagyom a farmot, egyetemre megyek, jó munkát kapok, és leszek valaki. Egy kisvárosban maradni és egy farmon dolgozni, az nem vezetett sehova. Elhatároztam, hogy bármit megteszek, hogy kijussak onnan, és megváltoztassam az életemet."
A gyakorlatban az amerikai vidék azt jelenti, hogy minden messze van. Az iskola, a bolt, a tó és a szomszéd gyerekek. Emiatt Doyle egész gyerekkorát a szabadban töltötte, és napjában kilométereket futott vagy biciklizett. Emellett a gyerekek különböző sportokkal, úszással vagy kosárlabdázással töltötték a napokat a szabadban, és itt ültették el Doyle-ban a versenyszellemet. Ahogy a fiatalember felnőtt, atlétikai képességei gyorsan fejlődtek ennek az életstílusának köszönhetően. A középiskolában elkezdett focizni, de alacsony termete és a sportág keménysége miatt egy idő után abbahagyta, és áttért a baseballra. Doyle látásproblémái miatt azonban ott sem alakultak sokkal jobban a dolgok, így a kosárlabda lett a harmadik választás.
A karcsú fiatalember ikonikus szemüveggel sétált be egy ígéretes kosárlabda-karrierbe, és mivel nagyon jó atlétikai állóképességgel rendelkezett, felvették a csapatba. Igazi sztárrá csak tinédzserkorában vált, ugyanis egy év alatt közel 20 centit nőtt, így 15 évesen elérte a 187 centimétert. Egy évvel később megerősödött, izomtömeget szedett magára, és a sok edzésóra kezdett kifizetődni - ő lett a legjobb dobó az iskolában, majd a megyében, és nem kellett sokáig várni arra, hogy országos kosárlabda sztár legyen.
A fiatal Doyle 22-es számmal
A fiatalember eredményei nem kerülték el a főiskolák figyelmét sem, és a középiskola elvégzése után sportösztöndíjat kapott a Hardin-Simmons Egyetemre, ahol egy Amerikában igen népszerű egyetemi ligában kezdett el játszani. Ezt a ligát általában a legjobb NBA-csapatok megfigyelői követik, akik a világ legjobb kosárlabda-bajnokságának ígéretes jövőbeli sztárjaiért küzdenek. Bár Doyle 1953-as csapata kikapott a rájátszásban, a szezon során 428 pontot dobott, és a rájátszás utolsó mérkőzése után a Minneapolis Lakers egyik felderítője felkereste. Kivételes teljesítménye miatt meghívást kapott az 1954-es NBA draftra, ami megnyitotta az utat álmai előtt, hogy profi kosárlabdázó legyen. Sajnos a sorsnak más tervei voltak vele.
Mivel az egyetemre járás az ösztöndíj ellenére is drága volt, Doyle-nak a tanulmányai és a sport mellett munkát kellett találnia. Ezt egy gipszgyárban kapta meg hatalmas derék fickóként, ahol gipszkartonlapok kezelése és vagonokba rakodása volt a feladata. Nos, egy ilyen rutinszerű rakodás során szó szerint minden balul sült el. Egy targonca egy adag gipszkartonpanelt hozott a vagonhoz, és Doyle egy kollégájával együtt pakolta be őket a vagonba. Ekkor a lapok elkezdtek a földre zuhanni, és Doyle ösztönösen odaugrott, hogy elkapja őket. Az egész halom azonban majdnem egy tonnát nyomott, aminek egy része végül Doyle-on kötött ki.
"A kocsiról leeső deszkák egyenesen a jobb lábamon landoltak, és azonnal a földre löktek. Mindenütt por volt, és amikor leülepedett, megláttam a lábamat - mindkét csontom megrepedt, és 90 fokos szögben állt ki a bőrömből. Nem sikítottam vagy sírtam - a lábamnál is rosszabb fájdalmat éreztem magamban. Nemcsak a lábam ment tönkre, hanem az álmaim, a reményeim és minden, amiért egész életemben dolgoztam. Az életem összeomlott." Bár a műtét egy helyi kórházban jól sikerült, Doyle-nak egy évig mankóval kellett járnia. A felépülése alatt a csontjai rosszul forrtak össze, és újabb műtétre volt szüksége, ami csak megpecsételte, amit már sejtett - a kosárlabda karrierjének vége.
"Sok időbe telt, mire mindent rendbe tettem a fejemben, és képes voltam szembenézni ezzel a sorssal. Nem tudtam többé kosárlabdázni, de még mindig versenyezni és pénzt nyerni akartam. Szegény családból származom, és a gazdagság volt a legerősebb célom. Nem tudtam, hogyan érhetném el, ezért elvégeztem a főiskolán az üzleti adminisztráció szakot, komolyan vettem a diplomámat, és mindent a tanulmányaimnak szenteltem. Hétvégenként pókereztünk az egyetemen belül, akkoriban 5 card draw-t és 7 card stud-ot játszottunk, ahol elég gyakran nyertem, és ez a zsebpénz mindig jól jött. Ez egy plusz ösztöndíj volt, és élveztem a megnyert pénzt, de soha nem gondoltam a pókerre hosszú távú vagy stabil jövedelemként. A főiskola után a Burroughs Corporation nevű céghez mentem dolgozni, amely számviteli segédeszközöket és számológépeket értékesített. Ez a zord Fort Worthben volt, az egyik legveszélyesebb városban messze földön. Álmomban sem gondoltam volna, hogy ez az út hová vezet majd....."