鑒於他和嬴政的特殊關系，在平定嫪毐叛亂後，呂不韋僅被免去了丞相的職務。但是，嬴政自幼年起所經歷的畸形的家庭生活，給他身心留下了太多的傷痛。他親眼目睹了母親放蕩、不檢點的生活，甚至自己都是十七八歲的大小夥子了，呂不韋還明目張膽地入後宮和母親廝混，尤其那個嫪毐，簡直是壹頭牲口。嫪毐已被鎮壓，嬴政不擔心了，可呂不韋還在鹹陽，他如果哪天再入後宮，和太後舊情重燃，豈不又惹麻煩？
嬴政畢竟是政治家，他從秦國穩定、秦國發展的高度考慮問題，再次做出決定，讓呂不韋離開鹹陽，到封地洛陽，就國河南。應該說，嬴政做出這樣的決定，依舊給足了呂不韋的面子。到洛陽，妳食十萬戶租稅，妳還是文信侯，依舊享受榮華富貴，而且遠離了政治中心，還落得個安全、清凈。從這點看，嬴政用心良苦，為呂不韋安排了安度晚年的去處，也算是解決他們特殊關系的最佳方案吧。
但是，呂不韋沒有這樣做，他自以為在洛陽可以積攢力量，發展勢力，也許還會有些作為，甚至東山再起！
來洛陽後，呂不韋果然又活躍起來了，他廣泛交結，家中整日酒席不斷，高朋滿座，前來拜訪、探望的各國使者賓客絡繹不絕。《史記·呂不韋列傳》載：歲余，諸侯賓客使者相望於道，請文信侯。
呂不韋在洛陽的活動，很快傳到政治嗅覺很敏感的嬴政那裏。嬴政剛親政，需要穩定，沒想到呂不韋不接受教訓，耐不住寂寞，這真不能容忍！嬴政終於感到必須對呂不韋采取最後的壹招了。
秦王政十二年（公元前235年）他派人給呂不韋送了壹封信，呂不韋打開壹看，只見上面寫道：
君何功於秦？秦封君河南十萬戶？君何親於秦？號稱仲父！與其家屬徙蜀！這封信是嬴政對呂不韋政治地位和親情關系的徹底否定：
第壹，妳呂不韋對於秦國無功，不應該享受租稅食邑；
第二，妳呂不韋與我無親，不該稱仲父。壹個既無功又與我不沾親的人，跟我有何關系，趕快遠遠的離開這裏！
按說，君主處死壹個失勢下野的大臣，用不著說這麽多的話，可是嬴政卻非要對呂不韋給個說法。可是這個說法卻泄漏了天機，所謂無功、無親純屬正話反說，恰恰是有功、有親。面對這樣壹封絕情信，呂不韋無言可辯，他後悔自己的失誤，感嘆自己的命運不濟，但壹切都晚了。不久他喝下毒酒自殺。
關於呂不韋之死，還有壹種說法，他是在遷蜀路上服毒自殺的。司馬遷在《太史公自序》中說不韋遷蜀，世傳《呂覽》。學術界不少人認為，呂不韋得知遷蜀而自殺，未曾至蜀。
從呂不韋棄商從政，建立顯赫功績，到壹再失誤，落得悲慘結局，可以看出，他始終以商人投機的心態和贏利的價值觀處理事務。他的謀略和活動能量都是超壹流的，任丞相壹職也名副其實，但他在處理個人問題上就不那麽聰明了，他私心太重，有利就鉆，見便宜就占，終於使嬴政改變了對他的看法，政治關系取代了情感關系，呂不韋晚節不保，身敗名裂，為後人留下深深的思索。