漢十一年(前196年)，黥布發(fā)動變亂，但恰逢高帝臥病在床，便想把平叛的任務交給太子。這四位老人聚在一起商議道：“我們到京師來的目的就是為了保全太子，現(xiàn)在讓太子帶軍前去平叛，事情就危險了。”于是他們勸說呂澤：“讓太子領(lǐng)軍出征，即使立了功勞對他的名位也沒有什么益處，但假如沒有立功就可能因此而遭致禍端。我們時常聽別人講：‘如果母親得到了寵愛，作為兒子的就會被別人看重，會常被別人抱?！F(xiàn)在戚夫人每時每刻都與皇上呆在一起，體貼入微地伺候皇上，眼前又經(jīng)常出現(xiàn)趙王的身影，皇上也曾經(jīng)說過‘最終會讓愛子的地位超過那個不肖子’，顯而易見，皇上是想讓趙王取代太子。為什么您不抓緊時間請呂皇后尋找機會向皇上哭訴，就說黥布是一員猛將，天下人都知曉其用兵如神，現(xiàn)在各位將領(lǐng)都曾是跟隨陛下南征北戰(zhàn)的故舊和地位相等的人，如果他們被太子統(tǒng)領(lǐng)著出征，肯定不會盡心效力，并且如果讓黥布知道了，他的氣焰一定會更加囂張。即使皇上龍體欠安，但還可以勉強坐上輜車，各位將領(lǐng)由皇上親自統(tǒng)領(lǐng)著，個個都會奮勇無比，爭先恐后去立功。雖然這樣會使皇上受苦，但仍需要勉強承受，也算為妻子兒女著想?！眳螡陕牶蟛桓彝Ｏ?，連夜去見呂后。呂后尋找到合適的機會，把那四個人授意的話向高帝哭訴了一遍。高帝回答道：“這件事我曾經(jīng)考慮過，本來這個孩子就不是太爭氣，恐怕難以勝任，還是我親自出馬吧?！庇谑歉叩劬徒y(tǒng)領(lǐng)大軍浩浩蕩蕩向東出征，留守的許多大臣一直送行到霸上。張良雖然疾病纏身，但也勉強支撐，一直送行到曲郵。他拜見高帝時說：“楚人勇猛強悍，請皇上不要與他們斗勇，要智取。”

漢十二年(前195年)，高帝平定了黥布叛亂，歸來后身體卻每況愈下，病情更加嚴重，另立太子的想法也就更加強烈。張良據(jù)理力諫，但也無濟于事，便推托自己有病不再理事了。太傅叔孫通引經(jīng)據(jù)典，把歷代廢太子的弊端陳述了一遍，最后以死相挾，以維護太子的地位。雖然高帝表面上答應不再另立太子，但內(nèi)心的想法卻依然沒有改變。在一次宴席上，高帝看到太子身后跟隨著四位老人，他們須眉皓白，衣冠博帶，年齡都已八十有余。高帝感到不可理解，問道：“他們是干什么的？”這四位老人走上前去，一一道出自己的姓名。這時高帝才驚訝地說道：“你們以前避我不見，隱居起來，無視我的征召，但現(xiàn)在各位為什么又與我兒子在一起呢？”四位老人答道：“陛下對士人常怠慢侮辱，我們不愿受辱，所以采取逃避的辦法，但現(xiàn)在聽說太子寬厚仁義，孝順而有禮，并且敬重士人，天下士人都感恩戴德，心甘情愿為太子效勞，死不足惜，因此我們就出來追隨太子?！备叩壅f：“既然各位受太子感召而出山，這是個好兆頭，請你們始終輔佐太子吧！”