明朝洪武二年（公元1369年）六月，常遇春率軍攻克元上都開平，元順帝逃往應昌；七月，常遇春率軍南歸，到達柳河川時，突然患病去世，終年四十歲。
朱元璋聽聞後，深感驚愕，悲痛不已，下令追封常遇春為開平王，諡號忠武，賜葬鐘山原，而且親自出奠。
因其卓越功勳，常遇春配享太廟、肖像功臣廟，均位列第二，僅在徐達之後；朱元璋還下令宮廷畫師為其繪製身穿龍袍的全身像。
明朝洪武三年（公元1370年）十一月，常遇春長子常茂因為父親的功勞被封為鄭國公，位列第三，僅在李善長、徐達之後。
明朝洪武四年（公元1371年）四月，常遇春長女與太子朱標成婚，被冊封為皇太子妃。
那麼，常遇春是如何脫穎而出，成長為朱元璋心腹愛將的呢？
一、粗中有細，見識不俗，投奔朱元璋。常遇春，字伯仁，是懷遠人，家裡世代務農，長相奇偉，性情剛毅，力大無比，臂長如猿，擅長騎射。
起初，常遇春跟著當地的綠林大盜劉聚混。
表面上看起來，常遇春似乎是一個大老粗，但實際上，心思細膩，他見劉聚只知四處劫掠，覺得長此以往沒有前途，打算離開劉聚，另謀出路。
恰在此時，常遇春聽說朱元璋的隊伍軍紀嚴明，於是決定親自去考察一番。
常遇春帶領手下來到和州，發現朱元璋的軍隊果然軍紀整肅，對百姓秋毫無犯，因此決心投奔朱元璋，此時是元至正十五年（公元1355年）四月，常遇春二十五歲。
當時朱元璋正為糧草和舟楫發愁，和州的糧食不夠吃了，而與和州隔江相望的太平、蕪湖盛產稻米，朱元璋想渡江，但是缺乏船隻。
常遇春言辭懇切，自請為先鋒，朱元璋的態度有些冷淡，說：等過了江，再議此事不遲。
巢湖水軍歸附後，同年六月，朱元璋率軍渡江，決定先取牛渚磯，可是元軍列陣於磯上，拼命發射弓箭，朱元璋舟師離江岸三丈多，無法登岸。
只見常遇春飛舟而至，揮戈勇進，元兵伸手抓戈，常遇春趁機躍上江岸，衝入敵陣，元軍頓時潰散。
朱元璋攻下採石後，又一鼓作氣攻克太平路，常遇春被封為總管府先鋒，四個月後升為管軍總管。
次年三月，朱元璋攻取集慶路，改為應天府。
二、忠誠可靠， 屢立戰功。常遇春投奔朱元璋後，始終忠心耿耿，真心追隨，逐漸成長為朱元璋最為倚重的嫡系力量。
元至正二十年（公元1360年）閏五月，陳友諒率軍奔襲應天府。
當時陳友諒是地盤最廣，實力最強的南方起義軍，不僅地處上遊，而且舟師數量是朱元璋的十倍。
這是朱元璋起義以來，遭遇的最嚴重的一次危機，生死攸關，稍有不慎，極有可能滿盤皆輸，再無翻身機會。
常遇春奉命與邵榮、馮勝率三萬帳前五翼軍埋伏在石灰山南面的山腳，待陳友諒軍隊進入埋伏圈後，率伏兵衝向陳友諒主力，為擊敗陳友諒立下汗馬功勞。
元至正二十一年（公元1361年）正月，朱元璋被小明王封為吳國公，不久將江南行樞密院改為大都督府，任命朱文正為大都督，「節制中外諸軍事」（《明太祖實錄》）；陸續調一批高級武將進中書省，邵榮為中書省平章政事，徐達為中書省右丞，湯和為中書省左丞，常遇春為參知政事。
此時常遇春的地位排在朱文正、邵榮、徐達、湯和之後。
元至正二十二年（公元1362年）七月，邵榮謀叛被誅。
元至正二十三年（公元1363年）七月，朱元璋與陳友諒在鄱陽湖展開決戰。
起初，陳友諒軍隊處於上遊，兵多船大，攻勢甚猛，朱元璋軍隊打得十分艱苦。這一天，朱元璋的戰船擱淺，無法進退，恰在此時，陳友諒的猛將張定邊過關斬將，直奔朱元璋而來，千鈞一髮之際，常遇春搭弓射箭，射中張定邊，朱元璋躲過一劫。
為扭轉不利形勢，朱元璋決定實施火攻，常遇春奉命徵調漁船，裝滿火藥，乘風縱火，陳友諒損失慘重，士氣大挫。
當時不少將領認為陳友諒軍隊實力仍比較強，主張放棄與陳友諒決戰，但常遇春卻不認同。移師湖口時，這些將領「欲放舟東下」（《明史》），朱元璋下令控制上遊，常遇春領命，「乃溯江而上」《明史》），率軍橫截湖面，隨時準備阻擊陳友諒。
陳友諒被困在湖中多日，糧食吃盡，率眾冒死突圍，來到湖口，遭到迎頭痛擊，最後中箭身亡。
元至正二十四年（公元1364年）正月，朱元璋在應天府自稱吳王，設立中書省，常遇春被封為平章政事，從一品，在武將中的地位僅低於徐達。
後來，朱元璋總結陳友諒的失敗教訓，認為「人各一心」（《明太祖實錄》）是其失敗的原因之一，朱元璋的隊伍也先後發生了邵榮、朱文正、謝再興等事件，而常遇春始終堅定地追隨朱元璋，從未動搖。
三、甘為副將，南徵北戰，從無怨言。雖然常遇春比徐達年長兩歲，但數次徵伐，都聽從徐達的指揮調遣，從無怨言，很有大局觀念；打了很多硬仗，攻無不克。
元至正二十六（元1366年）八月，朱元璋任命徐達為大將軍，常遇春為副將軍，率領二十萬大軍攻打張士誠的浙西地區，先攻湖州。
張士誠急忙派兵救援，屯駐於舊館。
常遇春率領一支奇兵從大全港營東阡，繞到敵後，奮力搏擊，將其擊敗，生擒徐志堅；而後追到平望，放火焚毀其裝載輜重的赤龍船，擊潰徐義、潘元紹所率舟師；又帶兵攻打烏鎮，再次擊敗徐義、潘元紹，然後追至湖州與舊館之間的昇山，攻破其水陸寨，張士誠部將五太子、呂珍等人被迫率舊館的六萬部眾投降。
不久，徐達、常遇春率軍攻下湖州。
同年十一月，徐達統兵進圍張士誠的都城平江，常遇春屯兵於虎丘門。
次年六月初四，被圍困半年多後，張士誠糧食吃盡，想突圍決戰，暗中出城，直奔常遇春軍營而來。常遇春與之在北濠展開激戰，張士誠大敗，慌忙退回城內。
三天後，張士誠再次帶兵出城，攻勢十分兇猛，常遇春迎面阻擊，雙方交戰正酣之際，張士信突然在城牆上鳴金收兵，常遇春趁機反攻，追到城下，「復築壘迫其城」（《明太祖實錄》），張士誠自此不敢再出城作戰。
三個月後，徐達、常遇春率軍攻入平江城，朱元璋下令改為蘇州府。朱元璋論功行賞，封徐達為信國公，常遇春為鄂國公。
元至正二十七（元1367年）十月，朱元璋任命徐達為徵虜大將軍、常遇春為徵虜副將軍，率領二十五萬大軍，北伐元朝。
次年二月，常遇春率軍攻打東昌。東昌的元軍據城堅守，拼死力戰，這是北伐以來山東元軍最頑強的一次抵抗。常遇春下令從四面登梯攻城，最終攻佔東昌。
明朝洪武元年（公元1368年）正月，朱元璋在應天登基稱帝，國號大明，年號洪武，封徐達為中書右丞相，錄軍國重事，兼太子少傅；封常遇春為中書平章，錄軍國重事，兼太子少保。
同年四月，徐達率軍進攻河南（今河南洛陽），五萬元軍在洛水之北嚴陣以待，常遇春一馬當先，衝入敵陣，徐達趁勢猛攻，元軍潰散而逃。
閏七月，徐達統兵北上，進取大都，月底，元順帝北逃；八月初，北伐軍攻入大都，朱元璋下令改為北平府。
四、擊敗王保保，迫使元順帝逃離上都。元順帝逃離大都後，跑到上都開平，在逃亡途中，下令山西的王保保進攻北平。
明朝洪武元年（公元1368年）十二月，徐達率領的明朝軍隊與王保保軍隊在太原相遇。
兩軍對壘，列陣二十多裡，激戰不已，連續三天未分出勝負。
為避免戰事陷入僵持，徐達決定令郭英率精銳夜襲敵營，常遇春率軍緊隨其後。
這天夜裡，王保保正在營帳內讀兵書，突遭襲擊，狼狽至極，慌亂間騎上一匹孱馬，帶領十八個騎兵逃往大同。常遇春緊追不捨，王保保轉而逃往甘肅，常遇春一直追到忻州才返回，在忻州找到被王保保扣留很久的朱元璋使者汪河，將其帶回，汪河對王保保的情況十分了解，提供了很多有價值的信息。
明朝洪武二年（公元1369年）二月，元順帝趁明軍攻打陝西、北平兵力空虛之際，派也速率領萬騎奔襲通州，圖謀復闢。
明軍守將曹良辰巧施計策，嚇退敵軍。
同年四月，朱元璋令常遇春率軍返回北平，同時任命李文忠為偏將軍，準備攻取開平。
六月，也速再次帶兵來犯，進攻通州。朱元璋令常遇春、李文忠率八萬步兵，一萬騎兵，發兵開平。也速急忙率軍北返。
常遇春率軍從北平出發，直取會州，在錦州擊敗元將江文清，在全寧也速擊敗也速，然後進攻大興州，守將趁夜逃跑，於是攻克開平，元順帝順帝逃往應昌府，薊北各地悉數平地。
綜上所述，常遇春忠心耿耿，能力突出，而且甘為副將，聽從指揮，有大局觀念，難怪深受朱元璋器重。