俗話說："三分天下諸葛亮，一統江山劉伯溫；前朝軍師諸葛亮，後朝軍師劉伯溫"，這說的是我國古代兩位著名的謀士諸葛亮、劉伯溫。
和諸葛亮相比，劉伯溫可能知名度和傳奇事跡更少一些，但卻幫助朱元璋完成了統一大業，從這一點上出發，可以說他是取得了比諸葛亮更高的成就。難能可貴的是，智略過人的劉伯溫深知功高震主的道理，在明朝建立不久後便辭官歸隱，閒居家鄉。
然而，儘管劉伯溫主動放棄名利，整天只喝酒下棋，從不提到自己當年的功勞，卻還是沒能避免被加害的命運。洪武八年（1375）三月，劉伯溫因感染風寒在家中病逝，享年六十五歲，而實際上，真正導致他去世的很可能是胡惟庸探病時讓御醫開的藥。那麼，當時劉伯溫明明已經辭官歸隱，為何胡惟庸卻還是要執意將其害死呢？
首先，我們可以看到《明史》當中對此事的記載，書中寫道："御史中丞劉基亦嘗言其短。久之基病，帝遣惟庸挾醫視，遂以毒中之。基死，益無所忌。"也就是說，劉伯溫在擔任御史中丞時曾經指出過胡惟庸的缺點，而這點在書中另一處也有所體現。
當時，朱元璋想要新立丞相，便詢問劉伯溫是否能夠重用胡惟庸，對此，後者回答："譬之駕，懼其僨轅也"，此話的意思是說，丞相就如同駕車的馬，而如果讓胡惟庸來擔任這一角色，他可能會害得馬車傾覆。
交代完此事，劉伯溫便回到家鄉閒居，數年後，朱元璋聽說他感染風寒，於是派胡惟庸帶著御醫一起前去探視。就是趁著這個機會，胡惟庸得以暗中給劉伯溫下毒，加速他的離世。對於劉伯溫死後胡惟庸的心理狀態，史書形容是"益無所忌"。
也就是說，劉伯溫在世時胡惟庸雖然已經開始囂張跋扈，卻還是心存不安的，這可能一方面是擔心劉伯溫繼續向朱元璋指出自己的毛病，甚至揭露自己的行動；另一方面是擔心朱元璋會在自己犯錯時果斷召回劉伯溫取代自己。
從上文中史書的片段來看，胡惟庸不依不饒要害死劉伯溫的理由大概有兩個：一是劉伯溫曾經批評他，這可能導致其懷恨在心，想要報復；二是劉伯溫即使歸隱山林，卻還是在朱元璋心中有著很高的地位，所以如果不將其除掉，自己的地位就始終無法得到鞏固。
除此之外，其實朱元璋在劉伯溫生病後的舉動也十分令人懷疑——他明知道胡惟庸和劉伯溫關係不睦，卻還是派其前去探視，主動為其提供了下手的機會。
誠然，當時胡惟庸是丞相，讓他前去可以表示朝廷對於劉伯溫的重視和關心，但這不得不讓人想起朱元璋對開國功臣們的無情清理，讓人難免懷疑劉伯溫之死是朱元璋授意胡惟庸去做的。
據說，劉伯溫在服下胡惟庸提供的藥後"有物積腹中如拳石"，為此，他還曾上書向朱元璋表示自己吃藥後身體的異樣，但後者卻不以為然，只讓他好好養病。朱元璋敷衍的態度和之前他對劉伯溫的尊敬形成了鮮明的對比，讓人不免覺得有些反常。
不過，從劉伯溫死前囑咐兒子劉璉向朱元璋呈上《天文書》，並表示自己本想寫一封奏疏給朱元璋，但因為胡惟庸還當權所以放棄的舉動來看，他對朱元璋還是抱有敬意和忠誠的，這似乎又說明了他的死與朱元璋關係不大。
還有一個值得注意的點，那就是朱元璋當年因李善長犯錯而要責罰他，但劉伯溫卻以其勞苦功高，且能夠調和將領之間的關係為由勸阻。對此，朱元璋驚訝地問道："是數欲害君，君乃為之地耶？"
可見，李善長曾經多次想要加害於劉伯溫，他們之間的關係堪稱惡劣。我們知道，胡惟庸是靠著李善長的提拔和推薦才當上丞相的，他們二人有著十分明顯的利益共同體關係，這也是胡惟庸倒臺後朱元璋誅殺李善長的原因。
那麼，李善長和胡惟庸結為朋黨，而劉伯溫作為李善長多次想要加害的敵人，自然也就成了胡惟庸的敵人。那麼，胡惟庸自發，或是在李善長授意下加害劉伯溫就是順理成章的事情了。總的來說，劉伯溫雖然歸隱山林，但在朱元璋心中和朝野內外仍然有著很高的威望。
因此，他始終能夠給胡惟庸等人帶來巨大的威脅，而這，或許就是後者不願意放過他的最大理由。