前236年，秦始皇给吕不韦的信中说道：“君何功于秦？秦封君河南十万户？君何亲于秦？号称仲父！与其家属徙蜀！”，意思就是你对秦国有何功劳？秦国封你在河南，食邑十万户。你对秦王有什么血缘关系？却号称仲父。你还是与你的家人都迁到蜀地去居住吧！
《史记.吕不韦列传》载：“岁馀，诸侯宾客使者相望於道，请文信侯。秦王恐其为变，乃赐文信侯书曰：“君何功於秦？秦封君河南，食十万户。君何亲於秦？号称仲父。其与家属徙处蜀！”吕不韦自度稍侵，恐诛，乃饮酖而死”，前236年，在吕不韦被废去相国位，遣出京城，前往河南封地的第二年，各地诸侯国的宾客使者依然是络绎不绝，前来问候吕不韦，此时秦始皇眼见吕不韦都被贬了两年，他在各国依然还拥有如此大的影响力，顿时就觉得忌惮不已，他生怕吕不韦会借助齐楚魏等诸侯国的力量，来行反叛之事。
但是吕不韦却不是这么想的，他虽知道此时始皇帝不想杀他，可长期以往，始皇帝必会杀他的。毕竟他曾经也是一国之相，朝堂上的尔虞我诈，落井下石，秋后算账的事情，他自己也没有少做，吕不韦深知，只要自己还活着一天，始皇帝就不会彻底的饶过他，甚至最后还可能祸及家人。如此，吕不韦在接到始皇帝的书信后，他已然知道自己最终的结局会是如何，此时始皇帝却只是想将他迁往蜀地，但是不久的将来势必就会对他下死手。而到那时，恐怕就是满门抄斩的下场。
就谋略而言，吕不韦不仅谋得深、算得远，而且谋得全，算得广，当年一个“奇货可居”的奇策让他从一介商人最后一跃成为秦国相国，位居一人之下，万人之上。
但是如此聪明的吕不韦，却是实在的想要的太多，他想控制始皇帝，想控制秦国的军政大权，如此的吕不韦最终也被自己那填不满的权力欲望给害了，他付出了生命的代价。当然吕不韦还算是聪明，他没有妄图去螳臂当车，而是自己选择了自尽，这等做法，虽让他丢掉了性命，但却保全了自己的家族，这可比商鞅的结局好的太多了。
