1949年1月10日，隨著淮海戰役的結束，國民黨的敗局已定。對此蔣介石看得十分清楚也做了相應的準備。1月18日，蔣介石作出了重要的人事部署，任命陳誠為臺灣省主席兼警備司令，蔣經國為臺灣省黨部主委。
2月10日，蔣介石又將中央銀行庫存的黃金、銀元全部運往臺灣。很明顯，他這是把經營重點放在了臺灣。然而，以當時的形勢來看，就算逃到了臺灣，也未必安全，因此，蔣介石還留了一條退路。
蔣介石偷運大批金銀、外匯和文物到臺灣的消息已被外界獲知。人們判斷蔣介石率領殘部要逃往臺灣。3月15日，新華社播發《中國人民一定要解放臺灣》的時評，義正辭嚴地指出：」中國人民絕對不能容忍美帝國主義對臺灣或任何中國領土的非法侵犯，同樣亦絕對不能容忍國民黨反動派把臺灣作為最後掙扎的根據地。」
這就明確地告訴蔣介石及其殘部：如果不向新生的人民政權投降，臺灣也非他們的久留之地，中國人民一定要解放臺灣。面對這種嚴峻形勢，蔣介石不得不考慮另外的退路了。
經過慎重的考慮，蔣介石還是把臺灣作為離開大陸的第一個落腳點。如果臺灣不保，就移居日本。蔣介石之所以選擇日本，自有他的道理。因為他早年留學日本，其後來來往往，多次到過日本。日本有他的同學、老師、朋友，他熟悉那裡的自然環境和生活習慣，語言和交際都不成問題。
更重要的是，日本戰後處於美國的保護之下，他全家的生活和安全都有所保障。可以說，蔣介石將日本作為餘生的居住地，也是個可靠而明智的選擇。
1949年5月25日，蔣介石父子乘「靜江號」軍艦逃往臺灣。6月24日，蔣的一家定居於臺灣臺北市北郊的草山「士林別墅」。為了避免「落草為寇」之嫌，蔣介石特意將草山改為「陽明山」，開始了困守臺灣的艱難歲月。
新中國成立後，實行獨立外交，前國民政府的許多使館人員紛紛投向新中國。1949年10月10日這天，與新中國尚無外交關係的原國民黨政府駐法大使館，本來要掛「青天白日旗」，卻出人意料地掛起了鮮豔的五星紅旗。此事立即傳遍了全世界，產生了轟動性的骨牌效應。
蔣介石得知此事後大為震怒，但又無可奈何。儘管他在臺灣落下腳來，可每天都難安寧，擔心大陸要解放臺灣。他指望美國能夠施以援手，或至少得到30億美元的軍事援助。還在1948年11月28日，他就安排宋美齡去了美國，但沒想吃了杜魯門總統的閉門羹，兩手空空離開華盛頓，跑到紐約的孔祥熙別墅隱居起來。
宋美齡從來也沒有如此擔憂過，美國不再支持蔣介石，國民黨無論如何也守不住臺灣。夫君下一步再往哪裡跑呢？這成為宋美齡日夜焦慮的問題。前思後想，她給蔣介石連來兩封電報，勸其定居加拿大，又謂夫君為國操勞了大半輩子，也該歇一歇，到外國來看一看了。再不就是到瑞士避難，這是個中立國，到了那裡之後會受到保護，可保餘生安然無憂。
但蔣介石去日本的主意已定，沒有給宋美齡回電。這樣，宋美齡就越加著急，便求孔祥熙和宋藹齡幫忙。但事已至此，孔、宋也想不出什麼妥當辦法。宋美齡不能再等，遂命孔祥熙的女婿陳繼恩專程去了一趟臺灣，以「到瑞士休養一段」為由，勸蔣介石離開臺灣。
但蔣介石不為所動，他說臺灣即使不保，他也不會到瑞士，而去日本避難。宋美齡聽了陳繼恩的回覆，知道拗不過倔強的夫君，遂在1950年1月13日悻悻回到臺灣。
就在蔣介石夫婦為自身安危擔憂的時候，韓戰爆發了，這讓蔣介石欣喜若狂，美國第七艦隊進入臺灣海峽，為其提供了一道保護屏障，他這才放心下來。蔣介石打算在臺灣建立反攻基地，實現回大陸的夢想，從此打消了去日本的主意。
本來，蔣介石欲逃亡日本這件事，知道的人有限，日本報紙的報導，並沒有可靠的證據。直到50多年之後，才由蔣介石當年的秘書周宏濤說出此事的真相，然而時過境遷，這也算不得是什麼驚人秘密了。