到1922年，胡祖儀的新式學堂的創(chuàng)議獲得通過，名為興文小學的胡氏族學就此開辦起來。這個學校不僅在科目設置和教學方法上不同于私塾，而且還招收女童入學，這在當地是破天荒的。胡祖儀擔任了校負責人兼教師，胡耀清和胡耀邦也轉回到這個學校來，胡耀清還當上了班長。

胡祖儀很器重胡耀邦，在學業(yè)上和品德上都嚴格要求，常常用高年級的作業(yè)讓他試做，給他輔導，課余則常常給他講些楊家將、岳飛、戚繼光、譚嗣同等愛國英雄的故事。這使得童年時代的胡耀邦就受到勤奮好學等良好習慣的培養(yǎng)和精忠報國精神的熏陶。

1926年，十一歲的胡耀邦在興文小學讀完初小，到文家市里仁學堂讀高小。

文家市在瀏陽縣東鄉(xiāng)，羅霄山脈西麓，緊鄰江西，是一個很著名的集鎮(zhèn)。里仁學堂就在文家市街上的文廟里。這座文廟興建于清嘉慶十九年（1814年），后來在這里創(chuàng)辦了文華書院，辛亥革命后改為立人（里仁）學校。學校按新式教育的要求，開設了國文、算術、歷史、地理、體育、音樂等課程，在國民革命高潮興起之后，又增設了“三民主義”。校長陳世喬是既有豐富學識、又有革命思想的青年，此時已加入了中國共產黨。教師里面的甘思藻、吳千晉、尤清風等也都是共產黨員。這是一所充盈著進步色彩的學校。

胡耀邦去鎮(zhèn)上讀書，這在家里也算一件大事。雖然學費仍由泮宮樂育會供給，但報名費一塊銀元還要自己交，東借西借總算借到了。母親也比以前更辛苦了。每天早晨天不亮，她就得給胡耀邦準備紅薯絲飯，一半作早餐，一半帶去上學。父親一早就要到文家市去挑煤，胡耀邦就隨他一起上路。這一段路坡崗起伏，來回四十里。少年胡耀邦就是這樣，日復一日，往返于這崎嶇的路上。這一時期的天天長途步行，確實鍛煉了他的腳力，使他一直到晚年還保持健步疾走的習慣。放學時碰上壞天氣回不了家，有時他就到離文家市較近的外祖父家或姨母家住一宿。

里仁學堂的諸多課程，為胡耀邦打開了新的天地。他覺得這里的一切都是那么新鮮誘人，強烈的求知欲望使他將各個科目都學得很認真。他勤奮、專心、肯思考，入學不久，在班級里就贏得了好學生的名聲，也很快就引起了教師們的注意。此時比他大兩歲的表兄楊世?。ê髞砀拿麠钣拢┮苍诶锶蕦W堂讀書。楊世俊的母親劉世珍同胡耀邦的母親劉明倫是堂姊妹，是他的姨母。楊世俊性格外向，驍勇好動，一身虎氣，而胡耀邦則顯得有些斯文。表兄弟兩人雖然性格不同，但很合得來。幾十年后，已身為中國人民解放軍上將的楊勇回憶這段學校生活時說：耀邦是好學生，我是淘氣包兒，念書他幫我的忙，打架我?guī)退拿?。當時正是國共合作時期，共產黨員陳世喬、甘思藻等經常給學生宣講打倒列強、爭取國家獨立，農民要組織起來鬧翻身，要進行國民運動等等道理。楊世俊對這些道理總是接受得很快，而且能夠發(fā)揮，所以甘思藻秘密發(fā)展楊世俊加入了共產主義青年團，后來又成立了共青團支部。甘思藻對年紀尚小的胡耀邦也著意培養(yǎng)，介紹他讀《中國青年》上的一些文章，對他講什么是帝國主義、封建主義，農民如何受剝削等等。這些，在少年胡耀邦的心靈里，播撒了階級意識的種子，喚醒了他對革命的朦朧追求。不久，他擔任了里仁學堂的少年先鋒隊隊長兼宣傳組組長。他既熱情又主動地參加教唱革命歌曲、宣傳破除迷信等等工作，有時也走到校外，在墻上涂寫大字標語：“打倒軍閥”“打倒列強”……