在朱元璋起兵抗元，掃平群雄，建立起大明王朝一統江山的過程中，曾得到過一位奇人的竭誠輔佐。朱元璋常說他「真是我的張子房」，對他不呼姓名而稱「老先生」。他姓劉，名基，字伯溫，浙江青田人。在民間傳說中，有關他有故事往往都被加上很濃的傳奇色彩。
劉基在元順帝至正初年考中進士，做過高安縣丞及江浙儒學副提舉等官。元末大亂，群雄並起，劉基曾應召去徵伐割據海上的方國珍及江浙一帶的義軍或山寇，後來因中讒言，受到當權者的貶抑，於是棄官回鄉，歸隱青田。
劉氏是當地望族，劉基的莊園座落在亂山叢中，雖然荒僻簡陋，卻被當地躲避方國珍亂兵的人們視為安全的堡壘，許多人前去依附他。劉基選拔一些丁壯，稍加部署，便使得周圍的起義軍或山寇望而生畏，不敢進犯。
至正二十年(公元1360年)初春時分，山風尚寒，劉基閉門高臥，枕旁放著他歸隱後所寫的一部書稿，書名叫《鬱離子》，其中多為寓言之作，言簡意深，表明了他的觀念與氣節。閒來無事，偶再翻閱，倒使他心潮難平，思緒萬千。他想起，剛歸隱時，曾有人勸他：「現今天下大亂，以閣下的才略，完全可以去佔據括蒼(今浙江麗水東南)，吞併金華，檄定明、越之地，利用長江天險而踞守之，當年越王勾踐的霸業也不過如此。而您不考慮這些，想逍遙到何時呢?」劉基當時反駁說：「我生平最痛恨的就是方國珍、張士誠這種佔山為王、稱霸一方的人，假如我照你說的去做，那麼與這些人又有什麼兩樣?而且天命終將把江山杜稷交給一位明君，你等著瞧吧。」
話雖這麼說，然而明君到底在什麼地方?他曾推算過，應當出現在金陵，那麼會不會就是派人帶厚禮來邀請自己出山的朱元璋?當時朱元璋已攻下金華、括蒼，平定了浙東地區，正在四處延攬人才，派人請劉基出山，被劉基謝絕了。
劉基拋書而起，踱出屋來，只見遠山頂上，蒼松鬱郁，流雲幾縷，隨風輕移。他的目光轉向莊園圍牆的東側，牆外是一處莊園舊址，枯藤野草的覆蓋之下，往往會露出幾堆瓦礫。他想起了自己的曾祖父劉濠。劉濠曾出仕宋朝，宋滅亡之後，蒙古人的鐵蹄四處踐踏，一時血流成河，白骨如山，劉濠回到家鄉隱居，就住在這塊舊址上。同鄉有個叫林融的人組織起一支抗元武裝，結果被鎮壓下去，元朝政府派使者去搜捕林融的同黨，隨身帶了一份名單，凡是稍有牽連的人都列在名單之上。使者路過劉濠的家，見天色已黑，就住宿下來，索取酒肉。劉濠假裝熱情奉承，頻頻勸酒，將使者灌醉，脫衣就寢。半夜時分，劉濠放了一把火，將自己的莊園燒成了一堆廢墟，人雖都逃出性命，但所有財產連同那份名單一起都被燒成了灰燼，許多無辜者因而免遭橫禍。
劉基幼時就聽父親講過此事，他聰明穎異，天份極高，他的老師鄭復初曾對他父親說：「您的祖上積下厚德，因此您這個兒子將來必定會光宗耀祖。」
劉基雖然在元朝中了科舉，做過官，但他知道元朝氣數已盡，自己祖上又是大宋遺民，因此他早就做好了輔佐明主，恢復漢家河山的準備。
到了三月份，朱元璋再次派人來懇求劉基出山相助，書信措辭十分謙恭，另外還附上了一份厚禮。劉基見朱元璋很誠懇，終於下定決心，隨使者來到金陵。與他同時應聘而來的還有宋濂、章溢、葉琛等名士。
朱元璋當時尊奉小明王，被封為江南等處行中書省左丞相。他在府中等候劉基等人的到來。隨著侍衛的傳報，劉基等人走了進來，朱元璋見他體格魁梧，相貌堂堂，外加一部虯曲濃密的大鬍子，尤其顯得神採奕奕、英氣逼人，不禁心中暗喜。他滿面笑容地對他們說：「我為了天下百姓而懇請四位先生屈尊光臨。」雙方施禮之後，主客坐定，朱元璋便向他們請教經史、時事等方面的問題。劉基並不多客套，隨即陳述了「時務十八策」，將天下大事分析得十分中肯。朱元璋大喜，下令築起一座軒敞、幽雅的禮賢館給劉基等人居住，待他們極為尊重有禮，時時與他們研習儒家經典及歷代興亡之事。
轉眼一年過去了，至正二十一年(公元1361年)正月初一，中書省照例設了御座，從朱元璋以下，每位將領、官吏都恭謹下地拜，遙向遠在中原地區的小明王行慶賀之禮。這位小明王便是韓山童之子韓林兒，韓山童因起兵反抗元朝統治，被捕犧牲，他的密友劉福通將韓林兒接到毫州，立為皇帝，又稱小明王，各地紅巾軍大都尊奉他為君主。
就在朱元璋等人下拜之後，猛然發現只有一個人昂然直立，沒有下拜，此人便是劉基。眾人紛紛回頭看他，眼神中流露出疑問與責備。劉基瞪了眾人一眼，大聲說道：「他不過是個牧豬放牛的傻小子罷了，為何要尊奉他!」
眾人大驚失色，朱元璋沉默不語，將劉基召入後堂，詢問他為什麼要這樣做。劉基款款說道：「金陵東有張士誠，西有陳友諒。然而張士誠是個沒有大志、只顧自守的草寇。陳友諒挾持主上，名號不正，又居於上遊，應該先出兵攻滅他。陳氏一滅，張士誠勢孤，也就不難掃除。然後再北向中原，掃平群雄及元室遺孽，那麼就可建成千秋王業了。」
朱元璋早有此意，只不過還沒有明確的打算與行動計劃罷了，聽劉基一說，十分高興，對他說：「先生以後如有什麼妙計，千萬為我盡情直言。」
其實，劉基自從來到之後，便盡心為朱元璋謀劃，朱元璋對他亦極信賴。去年五月陳友諒率水師攻克太平，勢焰極盛，將乘勝東下，進犯金陵。太平距金陵很近，陳友諒又與張士誠聯絡，要他出兵夾擊。這一消息在金陵城中引起極大震恐。朱元璋召集眾將商議對策，有人主張投降，有人主張棄城而走、據守鐘山。朱元璋聽著這些議論十分心煩，轉頭看看劉基，只見他瞪著雙眼，仰視房梁，一句話也不說，朱元璋將他召人內室，劉基立即激憤地說：「主張投降及奔逃者，可以殺掉!」
朱元璋問道：「依先生之計，該怎麼辦?」
劉基答道：「賊兵氣焰驕橫，勢必輕舉妄動，待他們深入我方境界，設伏兵邀擊，不難取勝。而且以天道而論，後發制人者勝，樹立威望、克敵制勝以成王業，在此一舉!」
朱元璋用劉基之計，引誘陳友諒來進犯，以伏兵將他打得大敗。朱元璋重賞劉基，但被他推辭了。
後來陳友諒又率兵攻陷安慶，劉基力促朱元璋親自帶兵去徵伐。大軍進攻安慶整整一天，沒有將城池攻下，於是劉基請求移兵去攻江州(今江西九江)，直搗陳友諒的巢穴。陳友諒沒有料到這一招，驚慌失措，連忙帶著妻兒奔回武昌，於是江州城守將投降了朱元璋。
一天，朱元璋正與諸將計議進攻江西各郡縣的事，忽然有人來報，說陳友諒的部下、龍興守將胡美派兒子來送信，商量歸降事宜。胡美的兒子見過朱元璋之後，先說了一通「久仰大德，願投明主」之類的奉承話，然後提出，其父胡美要來歸降，唯一的條件是允許他保存自己的親兵。
朱元璋聽說胡美願意歸降，本來很高興，但聽到這個條件，心中猶豫起來，因為假如開了這個先例，將領們都有自己的私兵，以後就很難節制了，因此他臉上現出為難的神色。正要開口說話，不料站在身後的劉基對著朱元璋所坐的胡床猛踢了一腳，朱元璋嚇了一跳，但立即明白了劉基的意思，於是他應允了這個條件，胡美的兒子歡天喜地回去了。沒過幾天，胡美正式歸降，江西各郡縣也都聞風而降，朱元璋沒費一兵一卒便增添了大片地盤，實在是劉基這一腳所踢出來的。
陳友諒趁朱元璋去安豐(今安徽壽縣)援救小明王之機，再次率大軍進犯。本來劉基反對朱元璋率軍遠出，就是因為怕陳友諒與張士誠乘虛來攻。好在陳友諒犯了一個戰略性錯誤，他沒有率軍直攻金陵，而是去攻打洪都(今江西南昌)，一直攻了八十多天也沒攻下，朱元璋這才有時間率兵來救。朱元璋對劉基說：「不聽您的話，這次差點壞了大事!。
兩軍在鄱陽湖相遇，展開了一場生死存亡的大決戰。戰鬥異常激烈，湖上戰艦縱橫馳騁，火炮與箭弩橫飛，殺聲震天，大火將湖水映得彤紅。朱元璋坐在帥艦的一張胡床上督戰，劉基侍立在他身後。朱元璋正指揮偏將揮舞令旗傳令，劉基忽然跳起身來，大聲呼叫，催促朱元璋趕快換船，朱元璋與船上將士都被他叫得摸不著頭腦，但來不及細問，就依他的意思將朱元璋移送到另外一艘船上。朱元璋在新船上剛剛坐定，只聽一陣刺耳的呼嘯之聲，敵方火炮的炮彈正好擊在原先所坐的那條船上，登時將船打碎，冒著黑煙，沉人湖底。朱元璋與將士們都看得目瞪口呆，連連暗呼僥倖。
陳友諒在遠處看到朱元璋的座船被打沉，心中大喜，哪知一轉眼，朱元璋又出現在另外一條船上，陳友諒和手下的士兵們都大驚失色，以為朱元璋有神人暗助。
兩軍在湖中相持三天，劉基請求移軍到湖口去扼住陳友諒的歸路，後來陳友諒被流矢射死，全軍潰敗，這一路強敵隨後被朱元璋消滅。
朱元璋登上帝位之後，劉基為他草創了許多法令，以嚴刑來治理當時混亂的局面。丞相李善長與劉基不睦，多次想加害於他，但有一次朱元璋責備李善長，劉基卻為他說了許多好話。
朱元璋想任劉基為丞相，劉基頓首推辭道：「這就像更換梁柱一樣，必須用大木，若用幾根細木束起來替代它，房屋立刻會傾覆。」
李善長後來獲罪罷免，朱元璋要任楊憲為相，劉基與楊憲關係密切，但卻諫阻說：「楊憲有丞相的才幹，卻無丞相的器量。」朱元璋問他汪廣洋、胡惟庸等人怎樣，劉基認為這些人更不如楊憲。於是朱元璋說：「給我當丞相，確實沒人比先生更合適了。」
劉基回答說：「臣性情過於剛直，嫉惡如仇，又不能耐心去處理紛繁的事務，如要當丞相，肯定會辜負陛下的恩德，天下不患沒有人才，只要明主悉心訪求，一定可以得到合適的人選。目前這幾個人確實都不合適。」
朱元璋沒聽他的勸阻，而後來楊憲、汪廣洋、胡惟庸果然都相繼得罪敗亡。
洪武三年(公元1370年)，劉基被封為誠意伯，每歲祿米240石。第二年特準他告老還鄉。
胡惟庸對劉基挾嫌報復，叫人在朱元璋面前捏造說劉基有圖謀不軌之意。朱元璋稱帝之後疑心漸重，對劉基雖然沒有治罪，但內心將信將疑，竟然剝奪了劉基的歲祿。劉基只好趕到京城去謝罪，留在京城不敢回鄉。胡惟庸當丞相後，劉基預見到會出現一場變亂，十分憂憤，生起病來。洪武八年(公元1375年)，朱元璋親自寫了一篇文章賜給劉基，派人將他護送回家。
回家不久，劉基病重，他自知不久人世，於是寫下一封遺表，對自己的兒子說：「治理天下的道理。在於寬、嚴相循環，現今最重要的是修仁德，省刑罰，才能使杜稷江山萬年永固。全國各處要害之地，應與京師聲勢相連絡。現在胡惟庸當政，上表無益。等胡惟庸敗後，皇上肯定會思念我，那時你們再將此表秘密奏上。
一個月之後，這位為明朝的建立而立下極大功勳的一代奇人與世長辭，終年65歲。