1949年1月，隨著淮海戰場上杜聿明集團的徹底覆滅，蔣介石再也無力回天，只能黯然的第三次下野，拱手將總統寶座讓給了桂系首領李宗仁。在即將下野的1月14日，蔣氏召集李宗仁、何應欽、顧祝同、湯恩伯等重臣在南京召開國防部緊急會議，確立了江防與上海為中心的防禦戰略。
解放戰爭後期，蔣介石幻想再次退守西南
但蔣介石本人對長江防線上那些殘兵敗將的底細非常清楚，因此他多次召集親信商議其他後路。由於此前有了抗戰西遷這個成功案例，多數人建議退守四川，保西南半壁為基地，等待國際形勢的變化。為此，蔣介石積極建立以重慶為核心的西南「反攻基地」，並多次飛往重慶、成都等地進行部署和督戰。
在兵力部署方面，蔣介石可謂傾其所有，其嫡系中央軍僅剩的兩股可戰之兵，由其最信賴的兩個學生率領執行固守西南計劃，其中：宋希濂的川湘鄂邊區綏靖公署部隊近20萬人和胡宗南的西安綏靖公署部隊40萬人，分別從鄂西和關中進入四川，希望兩者合力在西南地區「建立起堅強不拔的基礎，作為我們大陸反攻的根據地」。
退守臺灣成為蔣介石的唯一選擇
可惜，事與願違，解放軍進軍西南的部隊一路勢如破竹，宋希濂部隊在撤退途中就潰不成軍，宋本人也被俘；胡宗南部連戰連敗，最後僅剩6萬人困守西昌，胡宗南擅自逃往海南島。西南各地方實力派如川系的鄧錫侯、劉文輝和潘文華，滇系的龍雲、盧漢等早就與蔣介石離心離德，此時紛紛起義，隨著4月13日西昌地區國民黨軍的覆滅，蔣介石的西南計劃徹底破產。
至此，退守臺灣成了蔣介石集團的唯一選擇，一場規模空前的軍事撤退隨之開始，由於陳毅、粟裕指揮的第三野戰軍部隊迅速佔領了東南沿海地區，封鎖了海上退路。因此國民黨軍的撤退主要集中在大陸的幾個沿海地區。
青島等地國民黨軍大批撤往臺灣
第一個撤退點是青島，那裡同時也是美國第7艦隊的駐地。早在1947年12月，國民黨就在膠東地區成立了第11綏靖區，任命丁治磐為主官。隨著山東其他地區相繼被解放軍佔領，國民黨軍的勢力範圍越縮越小，到1948年下半年，青島已成「孤島」。1949年1月31日，蔣介石對青島駐軍作出指示：北平既失，青島守軍應速撤退，不必再問美國意見。
但由於美軍的阻撓，第11綏靖區司令部直到5月14日才開始制定撤退計劃，當時解放軍也在不斷發起進攻，國民黨軍一面迎戰一面準備撤退，先後歷時半個月有餘，至6月2日撤退完畢，10天後抵達臺灣基隆港。據統計，從青島共撤出軍、警、憲約9萬餘人，另有學者專家、青年學生及公職人員等約9千餘人。
沿海島嶼20餘萬守軍也撤往臺灣
接下來撤退的是海南島。海南原本也是蔣介石安排的後路之一，但經過利弊分析後，還是決定選擇了臺灣。1949年年底，海南島及舟山群島等島嶼地區，尚有不少國民黨部隊駐防。1950年4月19日，蔣介石一方面派海軍司令桂永清和軍事顧問柯克前往海南視察，釋放誓死保衛海南的煙幕彈，另一方面暗中陸續撤離海南島駐軍，相繼撤出5萬餘人。5月2日，海南島為解放軍佔領。
海南島撤退之後，舟山群島的國民黨守軍也開始退往臺灣，這批部隊是上海解放後經吳淞口敗退至此，總兵力在10萬人左右，浙江解放後，又有近6萬殘兵敗退至此。1950年5月開始，在解放軍的步步緊逼下，蔣介石下令全軍撤出舟山群島，以增強臺灣島防禦。