朱元璋率軍渡江後，尤其是攻佔金陵後，很多儒士相繼歸附，其中包括大名鼎鼎的劉伯溫、宋濂、朱升等人，但李善長始終是朱元璋管理團隊中地位最高的文臣，
元至正二十四年（公元1364年）正月，朱元璋在應天府自稱吳王，封李善長為右相國，徐達為左相國，當時右在左上，李善長在徐達之上。
吳元年（公元1367年）十月，朱元璋下令百官禮儀改為尚左，改封李善長為左相國、徐達為右相國，此時左在右上，李善長仍在徐達之上。
登基前，朱元璋因為一些事責怪李善長，萌生了換相的想法。
楊憲、夏煜等人趁機攻擊李善長，對朱元璋說，李善長沒有當宰相的才能。
朱元璋找劉伯溫商量，詢問他的看法。劉伯溫認為，李善長是勳舊，能調和諸將，不宜換相。
朱元璋聽後生氣地說：他數次想害你，你還為他說話。你忠誠勤懇，足以擔當此任。
劉伯溫連忙口頭謝絕，說自己不合適。
朱元璋對楊憲、夏煜等人說，「善長雖無宰相才.我既為家主，善長當相我，蓋用勳舊也」（《國初事跡》）
明朝洪武元年（公元1368年）正月，朱元璋在應天登基稱帝，封李善長為中書省左丞相，徐達為中書省右丞相。
明朝洪武三年（公元1370年）上半年，李善長生病，徐達長期在外領兵作戰，中書省政務無人主持，朱元璋再次打算換相。
朱元璋再次徵求劉伯溫的意見，先後問楊憲、汪廣洋、胡惟庸是否適合當丞相，均被劉伯溫否決。
不過，朱元璋還是提升楊憲為中書省左丞，主持中書省政務 。
楊憲擅權專橫，打擊異己，李善長抓住機會，趁機上奏，最終楊憲被誅。
明朝洪武四年（公元1371）年正月，李善長病癒，朱元璋令其辭官，任命汪廣洋為中書省右丞相。
那麼，朱元璋為何不再讓李善長當中書省丞相呢？可能有以下幾個原因。
第一，李善長可能沒有宰相肚裡能撐船的海量胸襟。
根據《明史》的記載，「善長外寬和，內多忮刻」，意思是指，李善長表面上看起來寬厚溫和，實際上氣量狹窄，為人刻薄。
隨著武將們徵戰在外取得一系列勝利，大明朝的統治疆域越來越廣闊，而作為百官之首的中書省丞相，掌管全國的行政事務，更需要具有海納百川的胸懷。
參議李飲冰、楊希聖稍微侵犯李善長的權威，李善長便奏請論罪罷黜。
李善長的親信、中書省都事李彬貪縱違法，李善長求情，劉伯溫沒有答應，奏請朱元璋批准後，處斬李彬。
此後，李善長向朱元璋參奏劉伯溫專權、不敬神靈，與劉伯溫有舊怨的官員也紛紛中傷劉伯溫，「愬基僇人壇壝下，不敬。諸怨基者亦交譖之」（《明史·列傳·劉基》）。
根據《明史·李善長傳》的記載，李善長因爭論法令而辱罵劉伯溫，劉伯溫內心不安，請求告歸鄉裡。
李善長雖然在與楊憲的爭鬥中獲勝，劉伯溫也告老還鄉，但是朱元璋卻更加堅定了換相的想法。
第二，論文韜武略，李善長可能比不上劉伯溫、朱升等人。
李善長 「粗持文墨」（明朝王世貞《弇山堂別集》）、「有心計而無遠識」（朱國楨《皇明開國功臣傳》）。
元至正二十年（公元1360年）閏五月，陳友諒率軍奔襲應天府，朱元璋決定採納劉伯溫的建議，誘敵深入、設伏聚殲。
朱元璋授意與陳友諒有舊交的康茂才詐降，誘使陳友諒速來。
李善長對此大為不解，問道：剛才還對陳友諒的進犯憂慮重重，現在怎麼又引誘他快點來呢？「方以寇來為憂，何為更誘致之也？」（《明太祖實錄》）
朱元璋向他解釋說：如果陳友諒、張士誠二人合兵來攻，我如何抵擋？先擊敗陳友諒，張士誠自然不敢來犯，「使二虜相合，吾何以支？先破此虜，則東寇膽落矣遂」（《明太祖實錄》）。
元至正二十六（元1366年）七月，朱元璋決定大舉進攻張士誠佔據的淮西地區，李善長認為張士誠實力尚存，儲備充足，應伺機而動。
朱元璋嚴厲駁斥李善長，張士誠敗相已露，何需伺機而動？「彼疆域日蹙，長淮東北之地皆為吾有，吾以勝師臨之，何憂不拔？」（《明太祖實錄》）。
第三、李善長能調和諸將，與淮西武將關係密切。
李善長投奔朱元璋後，很重要的工作內容便是調和諸將、供給軍需。
在長期的相處中，李善長與淮西武將之間形成信任，關係密切。
李善長地位高，有影響力，晚年竟然能向湯和借三名士卒為其營建宅第。
李善長是定遠人，是最早投奔朱元璋的文臣，是淮西勳舊勢力中重要的一員。
朱元璋所任命的張昶、楊憲、汪廣洋等非淮西籍文官先後獲罪，劉伯溫最後被胡惟庸下毒害死，淮西勳舊的權勢達到巔峰。
對於朱元璋而言，李善長當中書省丞相，可能不利於朝堂制衡，可能導致出現淮西勢力一家獨大的局面，甚至可能危及皇權。