第二年，高帝順利平定了黥布的叛亂，等到回京以後，病情更加嚴重。劉邦感到自己也活不了多久了，便更加想要更換太子。張良知道後極力為太子勸諫，但是劉邦固執己見，並沒有聽從他的意見。張良無奈，便因病而不再參與政事。太傅叔孫通也不贊成更換太子，就引用古今事例對高帝進行勸告，為了表示決心，竟然以死來爭保太子。劉邦實在是被逼的沒有辦法，就假裝答應了他，但是實際上仍然打算更換太子。不久，朝廷舉辦了一次宴會，太子在高帝身邊侍奉。四位賢者這次也隨著太子來了。他們的年齡都已經八十多歲，鬚眉雪白，衣冠奇特。劉邦看見後感到很奇怪，就問太子：「他們是些什麼人啊？」四人便依次上前回答，說出了各自的姓名。劉邦聽了之後非常吃驚，沒想到他們竟是自己多年苦苦尋覓的良才，驚奇地問他們說：「我訪求各位多年，你們卻總是逃避我。如今，你們為什麼自願地跟隨太子呢？」四人不假思索地回答說：「陛下輕視士人，張口就罵人。我等重視道義，不願意受無端的侮辱，所以就惶恐地逃亡、躲藏起來。我等後來聽說太子為人仁義、孝順，恭敬有禮，愛慕士人，天下之人沒有不願意為太子效死力的，所以便來投靠太子了。」劉邦接著就對太子刮目相看，並且對他們四人說：「既然你們現在已經跟隨了太子，那就勞煩各位始終如一地調教、保護好太子，寡人心裡也就放心了。」
四人祝壽完畢，快步離去。劉邦目送他們，心想這下太子的地位被保住了，同時召喚戚夫人，指著剛剛離去的四人對她說：「愛妃呀！我本來打算更換太子，無奈他現在得到這四人的幫助。我們的計劃全泡湯了！太子的羽翼已經形成，很難更換了。呂皇后看樣子果真要成為你的主人了。」戚夫人聽了之後非常絕望，哭泣不止。劉邦也很悲傷，安慰她說：「你為我跳楚舞，我為你唱楚歌，把憂愁忘掉吧！」於是，劉邦起聲唱道：「天鵝高飛，展翅千里。羽翼已成，橫越四海。橫越四海，當可奈何！雖有短箭，尚有何用！」劉邦嗚咽著連續唱了好幾遍，無奈之下停了下來。戚夫人一邊跳舞一邊流淚，動作明顯地也失去了往日的風姿，顯得有些僵硬而無力。劉邦悲哀不已，起身離去。盡避「天下沒有不散的筵席」，散去的方式也各不相同，但作為萬人景仰的天子劉邦以不歡而散的方式離開卻是史無前例的，這樣看來皇上也不是像普通人認為的那樣事事都能如意。劉邦最終沒有能更換太子，這已經被歷史的實際所證明。阻止劉邦更太子計劃的幕後主使者是張良，召來這四人的計劃也是張良獻的計策，這四人沒有辜負張良的期望，發揮了他們應有的作用。
命中的仙怪
在過去的幾年裡，張良與劉邦的關係非常融洽，所以他們經常在一起海闊天空地討論過天下許多事情，但是大多數都與天下的存亡沒有什麼重大關係，史書沒有記載這些內容也是很正常的事情了，我們瞭解這些只能通過一些野史或者口耳相傳般像阿貓阿狗之類的街巷故事被廣泛流傳。漢朝穩固了它的統治以後，留侯張良便公開宣揚說：「我家世代為韓國相國，對韓國充滿著家一般的感情，國家滅亡以後我常常茶不思飯不想，為韓國向強秦報仇成為了我那以後最大願望。為達到目的，我不會吝惜自己的萬金家產，積響應漢王推翻暴秦的起義，使得天下硝煙奮起號稱有百萬雄師的秦朝也滅亡了。如今天下太平，我憑藉著這三寸不爛之舌成為地位顯赫的帝王軍師，封的食邑有萬戶之多，位居列侯，這是平民出身的子弟們所能想像的最高點，皇上所給的這一切我已經是很滿足了。哎！我也老了，從今以後，我願意拋棄人間一切煩心的事情，想要追隨赤松子（傳說中的仙人）像仙鶴一樣無憂無慮地去遨遊大千世界。」張良從此開始系統學習「辟榖法」，因為只有體重下降才符合辟榖神功的要求，所以張良在下定決心以後，就開始嚴格奉行導引以便使自己逐漸輕身。就在這時劉邦去世了，掌握政權的是呂太后。她感激張良恩德，不想讓他就這樣死去，派人一日三餐地監督他吃東西，並且對他說：「人生在世，如同白駒過隙那樣短暫，您何必自討苦吃到了這種地步呢！」張良不得已，勉強聽從了呂太后的話，敷衍塞責地進用些食物，這才暫時保住了自己一條老命。