二月中旬，劉基在朱元璋生病的時候來看他，機智地告訴他，胡帶著禦醫來探病了，吃了禦醫開的藥後身體更不舒服了。朱元璋聽了這話，只是淡淡地說了壹些安慰的話，讓他放松壹下，休養生息，這讓劉基相當心寒。三月下旬，行動不便的劉伯溫在劉煉的陪同下，在朱元璋專案組的護送下，從京城啟程回國。回家後，他拒絕了所有親戚和村裏給他找的藥石，只是盡量維持正常飲食。
幾天後，劉基知道前途屈指可數，便找到兩個兒子交代後事。他算完帳，讓劉煉從書房拿來壹份天書，對他說:“我死後，妳要立即把這本書呈給皇帝，不能耽擱；從今以後，不要讓我們柳家的後代學習這些知識。”他還對他的二兒子劉晶說:“政治的本質在於寬大和嚴厲的結合。朝廷現在要做的，就是盡可能的培養道德，法律也要盡可能的簡潔。平日在位者，若能以身作則，以道德感化群眾，效果必勝於刑罰，影響深遠。壹旦下屬或人犯了錯誤，就能以壹顆善良的心態設身處地為他人著想，所判刑罰也壹定能達到對他人公平，對人改過自新有所警醒的目的。如果法律能夠盡可能的簡單，易於人們理解和遵守，就可以避免人們無所適從，也可以樹立政府的公信力和仁者的良好形象。這樣，上帝會幫助我永生。”他接著說:“本來我想寫壹份詳細的遺書，把我最後的想法和教訓告訴皇帝，但胡還在這裏，寫了也是白寫。不過，當胡戰敗的時候，皇上壹定會想起我，問妳我的遺言。那妳就偷偷把我的話彈給皇上聽！”最後於農歷四月十六日在家鄉去世，享年六十五歲。六月，他被埋在盛夏的鄉下。