1949年2月，當解放戰爭進入第三個年頭時，國民黨已經徹底兵敗如山倒。統治山西38年之久的山西王閻錫山也不例外，此時，閻錫山所能控制的地盤，也只剩下了太原和大同寥寥幾個城市。
太原戰役
而且，這些城市還都在解放軍的包圍之中，因此，即便是閻錫山及其麾下的將領們都知道，他們已插翅難逃。然而，閻錫山雖然知道必亡，卻仍決定頑固到底。
有一次，美國記者來到太原採訪閻錫山，閻錫山在其為美國記者舉行的招待會上，向美國記者和參會人員展示了500個瓶子和一口棺材。這些瓶子裡面裝的都是毒藥，棺材則是為自己準備的。他對美國記者宣稱，我閻錫山決心死守太原，與太原城共存亡，如果太原失守，我就和我的幹部們，因此都要同歸於盡。
以閻錫山反共上的一貫頑固，他選擇頑抗到底並不令任何人感到奇怪。閻錫山的部下們也因為他嚴厲的態度和決心，使得無人敢言和談和投降。然而，令晉綏軍將領們萬萬沒想到的是，他們的首領一邊宣稱堅守太原，另一邊，卻暗暗找起了後路。
向美國記者展示500個毒藥瓶子的閻錫山
早在美國記者採訪太原之前，1948年10月，閻錫山就曾命令他的親信大將，當時擔任山西綏靖公署副主任的楊愛源到北平向傅作義求援。而趁此機會，閻錫山還私下命令楊愛源為他打理個人在北平的錢財錢款。當時，僅由山西省銀行駐天津主任閻孝先匯往美國的款項，就高達200多萬美元。
很顯然，閻錫山深知，一旦失去老巢山西和麾下的晉綏軍，他將徹底失去權勢，而想繼續保持人上人的生活，巨額的錢財就必不可少。除了錢財上的準備，閻錫山還開始在南京國民政府頻繁活動，希望能夠獲得南京的任命，這樣一來，在太原城即將攻破之際離開太原，就變得名正言順。
而閻錫山為自己選擇的崗位是行政院長。因為，這時恰好是閻錫山左右逢源的最好時機：在1949年1月21號，蔣介石被桂系逼迫第3次宣布下野，而此時，新桂系的首領李宗仁成為國民政府代理總統。所以，精明的閻錫山認為，這正是漁翁得利的最好時機。
李宗仁
因為，長期把持國民政府的蔣介石被迫下野之後，雖然新桂系首領李宗仁成功上臺，但是，蔣介石其實一直在幕後指揮，李宗仁勢必舉步艱難。在這種情況之下，作為國民黨資歷極深的大佬，閻錫山自然會被雙方極力拉攏，趁機，閻錫山也就有機會從中亂中取利，左右逢源。
不過，閻錫山的這一如意算盤並沒有達成，何應欽反而在各方支持下成為了行政院長。如意算盤的落空令閻錫山極為惱怒，他在太原數次發怒，曾對部下發誓說，寧可戰死也不離開太原。
然而，隨著包圍太原的解放軍兵力驟然增加至三個兵團約25萬餘人，太原城被攻破已經指日可待。既無力死守又不願意成為俘虜、更不捨得自殺的閻錫山，內心愈發恐懼。
閻錫山
在這種情況下，閻錫山一邊表面硬撐，要求部下堅守太原，另一方面，開始催促在南京的舊部楊愛源和駐南京辦事處處長方聞等人加緊活動，從而讓他離開太原「師出有名」。為了順利離開太原，閻錫山幾乎動用了一切手段，他還聯絡了舊部賈景德、徐永昌等人，拜託他們多方活動，給李宗仁捎話。
1949年3月28日，焦躁不安的閻錫山終於盼來了李宗仁的電報。當時的「代總統」李宗仁寫道：百川兄，和談代表即日北上，黨國大計在諸我公商決，請兄速駕，弟德鄰。
收到此電報之後，閻錫山如久旱逢甘霖，他之前的焦躁咒罵一掃而空，暴戾之氣也全部消解。他立刻在電報上批了「有飛機即去」5個字，並在第2天回復李宗仁：寅儉辰電敬悉，遵當如命晉京，懇賜飭派飛機為禱。
閻錫山
第2天，李宗仁所派的飛機如期到達太原機場，也在同一天下午2點，閻錫山麾下的高級軍政人員都接到通知，閻錫山在太原綏靖公署閻公館召開緊急會議。
在解放戰爭中一敗再敗的閻錫山，這一天卻沒有了絲毫的頹勢，他穿的極為齊整，也恢復了往日的修養和謙和。會議開始後，閻錫山先讓秘書長將李宗仁的電報念了一遍，問大家有什麼意見。
也許是死守太原的口號叫的太久，突然改口有些尷尬，也許是擔心有人反對，閻錫山還補充說：
我去不去呀，如果這個電報是以李代總統的名義給我發來的，可以不去，將在外君命有所不受嘛。但他是以兄弟相稱的私人口氣，我不能不去，還是去一趟好，不能不講兄弟情誼。
閻錫山
閻錫山的話已經說到這一份兒上，就差直接明示說我肯定會去，再加上積威已久，閻錫山的親信部將們自然不會、也不敢說出「不讓去」的話。閻錫山最為信任的特務頭子梁化之也十分支持閻錫山離開太原，他在一旁不停催促其趕緊上飛機。在這種情況之下，閻錫山順利獲得了飛離太原的臺階。
心中大石落下後的閻錫山，又將梁化之、王靖國、孫楚、趙世鈴、吳紹之組成5人小組，梁化之為首，負責太原戰事。當然，在會議結束之時，閻錫山依然給部下們留下了絲絲希望，他承諾：「如果太原一旦吃緊，我一定在24小時以內，準回太原」。
隨即，閻錫山帶上侍衛長張逢吉、檢點參事楊玉振、醫生張振慶、生活副官胡慶祥、孔慶祥、廚師陳發善等9人乘坐飛機飛往南京。
閻錫山
從此之後，閻錫山徹底離開了他苦心經營38年之久的山西。而在閻錫山走後沒多久，徐向前元帥發動總攻，1949年4月24日，太原城被徹底攻破。閻錫山賴以統治山西38年之久的晉綏軍也徹底被消滅。
太原城破之後，閻錫山最為信任的鐵桿親信梁化之服毒自殺，當時，與梁化之一樣選擇自殺的約40餘人，而這些人，也成為閻錫山敗退臺灣之後吹噓的「太原500完人」的原型。
當然，40人比之500遠遠不足，所以，閻錫山所謂的500完人，大部分都是他拼湊、編造和杜撰的。太原城破後，除了自殺的少數人，其他絕大部分晉綏軍高級將領都被俘虜。因此，幾乎孤身逃往南京的閻錫山，徹底成了光杆兒司令。
閻錫山搞的太原500完人公祭
失去山西和晉綏軍之後，閻錫山再沒有了權勢的根基，精明無比的閻錫山對此也心知肚明。因此，到達南京之後，他決定國民黨內部為自己掙點兒新的本錢。
而作為鐵桿兒反共分子的閻錫山，所能做的自然是口炮救黨：他發起成立了一個由各黨派組織聯合的鬆散機構：反共救國大同盟。在國民黨兵敗如山倒之際，閻錫山能夠發起這樣一個組織，在幕後掌控的蔣介石看來無疑是難等可貴的。
因此，閻錫山的反共救國大同盟計劃得到了蔣介石的首肯，並因此在國民黨中常會通過。閻錫山自然這個所謂大同盟的主席，也憑藉於此，閻錫山利用李宗仁和蔣介石的矛盾，終於坐上了他夢寐以求的國民政府行政院長的寶座。1949年6月1日，李宗仁提名閻錫山為行政院長。
李宗仁
如願以償坐上行政院長的寶座之後，閻錫山再次發揮了自己長袖善舞的特長，開始試圖挽救國民黨的敗局，然而，在國民黨兵敗如山倒之際，閻錫山毫無新意的老調重彈，對於國民黨的敗局無絲毫用處。
更何況，失去山西和晉綏軍之後，閻錫山手下再沒有一支軍隊。所以，雖然擔任了行政院長兼國防部長，但是，對國民黨殘存的百萬大軍，閻錫山連一兵一卒都指揮不了，本來就是一個擺設，有何來機會挽救「危局」呢？
隨著解放軍的不斷進攻，國民黨殘存控制的華南、西北等地區也接連解放，李宗仁、白崇禧賴以和蔣介石相抗衡的新桂系軍隊也徹底被消滅。輸光老本後，李宗仁飛往美國，白崇禧則決定前往臺灣，李白二人徹底失勢。在這種情況之下，作為李宗仁和蔣介石兩大集團之間的緩衝的閻錫山，自然在沒有任何價值。
蔣介石和新桂系軍閥
而且，在徹底敗退臺灣之後，一直居於幕後指揮的蔣介石也決定重新復起。1950年3月1日，蔣介石復任「總統」。很顯然，閻錫山這個擺設已經沒有用了。所以，剛剛飛到臺灣沒多久的閻錫山，就頗有眼力見兒的辭去了行政院長的職務。
至此，閻錫山失去生命中的最後一個重要職務，閻錫山的政壇生涯徹底宣告結束。辭去行政院長的職務之後，閻錫山還用自己的實際行動，向諸多國民黨失勢大佬們表演了為什麼他能夠統治山西38年，其他許多軍閥卻只是曇花一現：
閻錫山深知，失去晉綏軍和山西的自己對於蔣介石已經毫無價值可言，所以，他在臺灣從未上躥下跳，不但沒有為自己恢復權勢去努力，反而當起了小透明：閻錫山默默的住在臺北市陽明山青山草廬，幾乎不熱衷任何政事，過上了半隱居的生活。
閻錫山晚年照片
與此同時，閻錫山對於蔣介石的所有命令，無論是清算還是悔過，都沒有一絲一毫的牴觸，往往全力執行。正是閻錫山的這種聽話和順從，使得敗退臺灣後，閻錫山幾乎沒有遭遇蔣介石的非難。
這個曾經與蔣介石多次對立甚至兵戎相見的大軍閥頭子，憑藉無與倫比的精明， 卻得以在臺灣安享晚年。1966年5月23日，山西王閻錫山在臺北醫院病逝，終年78歲。