歐內(nèi)斯特育有四子一女。大兒子克拉倫斯學習地質(zhì)學專業(yè)，后從事油品貿(mào)易行業(yè)。二兒子喬治是個化學博士，后來落腳在美國東海岸。四兒子弗雷德繼承了歐內(nèi)斯特?巴菲特的百貨商店。五女兒艾麗斯后來做了一名家政老師。

巴菲特父親霍華德是歐內(nèi)斯特的第三個兒子。他生于1903年，后入讀內(nèi)布拉斯加大學主修新聞學，并成為校報《內(nèi)布拉斯加州人日報》的編輯。巴菲特母親叫利拉·斯塔爾，利拉的父親約翰·斯塔爾是好幾家學校的董事會主席，還買過一家叫《庫名縣民主報》的報紙。斯塔爾是典型的猶太姓，巴菲特母系家族是富裕的猶太商人。按照猶太人遵從母系的角度來看，巴菲特也可以被看成是猶太人。只是這一點被人們有意無意地忽略了。

美國國父之一漢密爾頓曾這樣評價過美國猶太人：“金錢是他們的偶像，他們不僅口頭上，而且整個身心都崇拜它。在他們的眼里，塵世無非是個交易所，而且他們確信，在這塵世間，他們除了要比自己鄰居富有之外，沒有別的使命。做生意占據(jù)了他們的全部思想，變換所經(jīng)營的貨品，是他們唯一的休息。他們在旅行的時候，也要背上，比如說，自己的貨物或柜臺，而且所談的不是利息就是利潤。即使他們一時沒考慮自己的生意，那也只是為了要探聽一下別人的生意做得怎樣?！卑头铺厥刎斉膫€性，對金錢的瘋狂追求，無疑受到其母系家族的影響，那都是典型猶太人價值觀的體現(xiàn)。

20世紀20年代，美國經(jīng)濟一片繁榮，股價像坐火箭一樣直沖云霄。1927年，霍華德進入金融行業(yè)，在聯(lián)合州立銀行做股票經(jīng)紀人，收入頗豐。但好景不長，經(jīng)濟大危機爆發(fā)，聯(lián)合州立銀行于1931年8月13日破產(chǎn)倒閉。

當時，在美國東北最繁榮地區(qū)，各名牌大學的應屆畢業(yè)生都難找到工作，連在紐約百貨公司開電梯的工人都必須要有學士學位。威廉·曼徹斯特在《光榮與夢想》中這樣描繪當時的失業(yè)狂潮：“那位衣冠楚楚、每天早上按時出門的青年律師，說不定是揀個偏僻地方去挨戶兜售雜志、便宜領帶、真空吸塵器、高壓鍋、‘二合一’牌鞋油之類的東西的。他甚至可能干脆換一套破衣服，在另一個市區(qū)向路人行乞。人在街頭流浪久了，也能找到一些竅門。譬如，花五分錢要一杯咖啡，然后白要一杯開水，把柜臺上的番茄醬倒一些同開水一攪和，就算是番茄湯了。冬天，報紙塞在襯衣里邊是可以御寒的；如果料到在職業(yè)介紹所外面要排上幾個鐘頭的隊，事先用麻包片把腿包扎起來就是了。鞋可是個特殊問題。硬紙板可以襯鞋底，有些人還喜歡在鞋后跟墊上棉花，走水泥地少硌腳。但是如果一只鞋子真的完蛋了，那就什么辦法也不中用了。最先磨破的是紙板，接著是襪子補丁，于是雪水滲進鞋里，糊滿了腳丫子，加之鞋釘直扎腳跟，結(jié)果只好用一種特殊的姿勢走路。窮人家為了省錢度日想出的種種妙法，說來真了不起。男人的刮胡子刀片磨了再用；自己動手卷紙煙，要不就抽‘翅膀’牌(一角錢一包)；為了省電，改用25瓦燈泡。孩子們撿汽水瓶到鋪子里換錢，一個兩分；上面包店排隊買隔夜的面包。”

如果巴菲特家族只是普通貧民階層，霍華德所能接受的命運免不了是“加入了在曼哈頓街上擦一次鞋得五分錢的七千‘鞋童’的隊伍”，或是“插手走私運煤的勾當（紐約市10%的煤是由賓夕法尼亞州的失業(yè)礦工偷運進來的）”，抑或干脆“只是混跡在市內(nèi)那82條長龍里領面包度日。如果身邊還有一角錢，還可以在充滿汗臭和消毒藥水氣味的小客棧里睡他一宿；如果身無分文，就在街上撿些報紙當作鋪蓋，到中央公園、地下鐵道站口，或垃圾焚化場去過夜了。做丈夫的這樣出去走了一趟之后，鉆進空貨車或者趴在車底下，又回到家里，不免同妻子合計，看看家底子還能維持多久。于是變賣結(jié)婚戒指，抵押家具，憑人壽保險單借錢”。即便霍華德找到工作，也不過是像當時《時代》周刊所說的被“無法無天的雇主把工資壓低到中國苦力的水平了”。

畢竟出身于富裕家庭，失業(yè)不到兩周時間，霍華德和兩個合伙人就在奧馬哈法納姆大街的聯(lián)邦州立銀行大樓成立了一家股票經(jīng)紀行，名字叫巴菲特-福爾克公司（Buffett-Falk&Company）。當巴菲特父子商店以周薪17美元聘請一位司機開橙色卡車運送貨物，竟有50個男人排隊競爭。當普通平民在這場經(jīng)濟大災難中煎熬時，霍華德反而因禍得福，憑著有錢的親朋好友的幫助，將生意做得越來越紅火，收入比在銀行工作時還要高得多。后來，霍華德在回憶那段歲月時說過，“即使是在艱難的日子里，我們的生活水平也在穩(wěn)步地提高”。