朱元璋即皇帝位後，劉基上奏制定軍衛法。當初確定處州稅糧時，仿照宋制每畝加五合，唯獨青田縣除外，太祖這麼說道：「要讓劉伯溫家鄉世代把此事傳為美談。」太祖巡幸汴梁時，劉基與左丞相李善長一起留守京城。劉基認為宋、元兩朝都因為過於寬縱而失天下，所以現在應該整肅綱紀，於是便下令御史檢舉彈劾，不要有任何顧忌，宿衛、宦官、侍從中，凡犯有過錯的，一律奏明皇太子，依法懲治，因此人人都畏懼劉基的威嚴。
中書省都事李彬因貪圖私利，縱容下屬而被治罪，李善長一向私寵李彬，故請求從寬發落，劉基不聽，並派人騎馬速報太祖，得到批准，劉基便在祈雨時，將李彬斬首。因為這件事，劉基與李善長開始不和。太祖返京後，李善長便向太祖告狀，說劉基在壇土遺下殺人，是不敬之舉。那些平時怨恨劉基的人也紛紛誣陷劉基。
當時正逢天旱，太祖要求諸臣發表意見，劉基上奏說：「士卒亡故者，他們的妻子全部遷往他營居住，共有數萬人，致使陰氣鬱結。工匠死後，腐屍骨骸暴露在外，將投降的吳軍將吏都編入軍戶，便足以協調陰陽之氣。」太祖採納了他的意見，但十天過後仍不見雨，故而發怒。此時恰好劉基的妻子死了，所以劉基請求告辭還鄉。
太祖正在營造中都，又積極準備消滅擴廓。劉基臨走上奏說：「鳳陽雖是皇上的故鄉，但不宜作為建都之地。王保保不可輕視。」不久，定西之役失利，擴廓逃往沙漠，從那時起一直成為邊患。這年冬天，太祖親自下詔，敘說劉基徵伐之功，召他赴京，賞賜甚厚，追贈劉基的祖父、父親為永嘉郡公，並多次要給劉基進爵，劉基都固辭不受。
當初，太祖因事要責罰丞相李善長，劉基勸說道：「他雖有過失，但功勞很大，威望頗高，能調和諸將。」太祖說：「他三番兩次想要加害於你，你還設身處地為他著想？我想改任你為丞相。」劉基叩首說道：「這怎麼行呢？更換丞相如同更換梁柱，必須用粗壯結實的大木，如用細木，房屋就會立即倒坍。」後來，李善長辭官歸居，太祖想任命楊憲為丞相，楊憲平日待劉基很好，可劉基仍極力反對，說：「楊憲具備當丞相的才能，卻沒有做丞相的氣量。為相之人，須保持像水一樣平靜的心情，將義理作為權衡事情的標準，而不能攙雜自己的主觀意見，楊憲就做不到。」太祖又問汪廣洋如何，劉基回答：「他的氣量比楊憲更狹窄。」太祖接著問胡惟庸，劉基又回答道：「丞相好比駕車的馬，我擔心他會將馬車弄翻。」太祖於是說道：「我的丞相，確實只有先生你最合適了。」劉基謝絕說：「我太疾惡如仇了，又不耐煩處理繁雜事務，如果勉強承擔這一重任，恐怕要辜負皇上委託。天下何患無才，只要皇上留心物色就是了。目前這幾個人確實不適合擔任丞相之職。」後來，楊憲、汪廣洋、胡惟庸都因事獲罪。三年（1370），太祖授劉基為弘文館學士，十一月，大封功臣，又授劉基為開國翊運守正文臣、資善大夫、上護軍，封誠意伯，食祿二百四十石。第二年，賜劉基還歸家鄉。
先見之明上知天象 智慧超群名傳後世
太祖經常寫信給劉基，詢問天象，劉基都非常詳細地逐條回答，然後將其草稿燒掉。劉基大致說，霜雪之後，必有陽春，現國威已立，應當稍微採用寬大政策來治理天下。劉基輔佐太祖平定天下，料事如神。他性情剛烈，疾惡如仇，經常與人發生衝突。直到現在他才隱居山中，只是飲酒下棋，從不提起自己的功勞。縣令求見，被劉基拒絕，於是便穿著便服，裝成鄉野之人去見劉基，劉基當時正在洗腳，便讓堂侄將他引入茅舍，以黃米飯招待。縣令這時才告訴劉基：「我是青田知縣啊。」劉基大驚，馬上起身稱民，然後謝罪離去，終不相見。劉基的行蹤如此秘密，最終還是被胡惟庸中傷陷害。
最初，劉基說甌、括之間有一塊空地叫談洋，南抵閩界，是鹽盜的巢穴，方氏便是由此作亂的，故請設巡檢司守衛，奸民為亂便不那麼方便了。時逢茗洋逃兵反叛，官吏都匿而不報，劉基便令長子劉璉將此事上奏，但未先通報中書省。胡惟庸當時正以左丞相的身份主管中書省，對以前與劉基的過節懷恨在心，於是便派手下官員攻擊劉基，說談洋這個地方有帝王之氣，劉基想將它作為自己的墓地，因為當地百姓不答應，劉基便請求設巡檢司將百姓趕走。太祖雖然沒有加罪於劉基，但頗為這些言論所打動，因而剝奪了劉基的俸祿。
劉基心中害怕，入朝謝罪，然後待在京城，不敢返鄉。不久，胡惟庸當了丞相，劉基悲嘆道：「若是我的話不應驗的話，那便是蒼生之福了。」遂因憂憤交加而發病。洪武八年（1375），太祖親自撰文賜給劉基，並派專人護送劉基返鄉。到家後，病情加重，便將《天文書》授給長子劉璉，並說：「趕快送給皇上，千萬不要讓後人學習此書。」又對次子劉王景說：「為政之事，要寬猛交替。當今之務在於修養德行，減省刑罰，才能祈求上天保佑國運長久。那些戰略要害之地，應當與京城遙相呼應，連成一體。我本想上奏一份遺表，但因胡惟庸當朝掌權，這麼做毫無用處。有朝一日胡惟庸下臺後，皇上必然要想起我，如果他向你問什麼的話，便將我所說的密奏皇上。」回家僅住了一個月，劉基便去世了，終年六十五歲。劉基在京城生病時，胡惟庸曾派醫生來給他治病，劉基吃了藥後，腹中便出現了一個像拳頭大的石頭。後來中丞塗節首先揭發胡惟庸謀反一案，並且說是胡惟庸下毒將劉基害死的。
劉基滿臉虯髯，相貌堂堂，慷慨而有大節，每當談論天下大事，便義形於色。太祖知道他非常忠誠，對他委以心腹之任。每次召見劉基，都要避開他人進入內室，單獨與劉基長時間密談。劉基也自認為自己得不世之遇，所以在太祖面前知無不言。每到緊急危難關頭，劉基總是勇氣奮發，計策立定，人莫能測，閒暇之時，便敷陳為王之道，而太祖每次都洗耳恭聽，常常稱劉基為老先生而不叫他的名字，並說：「你就是我的張子房啊。」又說：「老先生多次以孔子之言來勸導我。」所以，太祖與劉基的帳中密語，世人所知不詳，而世間所傳為神奇的，大多只是一些陰陽風水之說，並非劉基的至理名言。劉基的文章氣勢浩大而奇妙，與宋濂同為一代宗師，他的著作有《覆瓿集》、《犁眉公集》流傳於世。劉基有二子：劉璉、劉王景。