眾所周知，在解放戰爭末期，蔣介石到了臺灣之後，國民黨一些高級將領也隨之去臺灣，其中蔣介石也要求閻錫山一同前往。記得有一部電影叫《太平輪》，展示了去臺灣貨輪的故事，船上也有國民黨軍人。不過向閻錫山這類高級軍官，還是可以乘坐飛機去臺灣的。
於是，在1949年底，閻錫山乘坐了飛機前往臺灣，搭乘同一班飛機的還有陳立夫、朱家驊，而他們的秘書啥的乘坐另一架飛機。飛機起飛之後，飛行一段時間飛機開始急速下墜，並且發現機翼結冰了，於是飛機迫降成都機場，不敢再繼續飛下去了。不過長官們問起飛行員為什麼，飛行員說飛機上有數十箱子金條，飛機嚴重超載。第二天，陳立夫找到閻錫山說金條能不能少帶點，要不然飛機飛不起來、而閻錫山卻認為介紹幾個人，金條必須帶。閻錫山帶著這些金條是打算以後再回大陸用的，不過令他沒有想到的是，飛走了永遠再也回不來了。
閻錫山也有私心，想去海外發展，特別是美國和日本都能去，但是蔣介石並不放人，所以閻錫山不得不追隨校長到臺灣生活。閻錫山來到臺灣之後，生活上也比較平淡，最後決定遠離繁雜的政壇，隱居起來。閻錫山的住所與之前的豪宅相比寒酸多了，只有幾間房子，並且不是豪華的住所，畢竟是隱居，房子其實就是類似於窯洞。閻錫山的住所不像在大陸時候，有專門的房子，還有院子，還有園子。而在臺灣隱居的房子只有一個長廊，期初連電話都沒有。
自從來到臺灣之後，閻錫山沒有什麼權力，自然就是過起了隱居的生活，每天也就是開會。政壇上的失落，閻錫山並沒有灰心。閻錫山還當起了「農民」，種起了地來。種糧食，種蔬菜，養起了雞鴨，還有果樹。不過，閻錫山到了套碗之後並沒有在大陸時候風光，在此期間，也就是蔣介石夫婦去看過他，其他人來得非常少。閻錫山每月也有5萬的收入，但是養活不了所有家眷，還替下屬張羅生意。就這樣，一生叱吒風雲的軍界精英就這樣過起了隱居的生活。
閻錫山臺北故居而晚年的閻錫山，在臺灣生活還是平淡無奇的，能聽聽京劇就比較滿足了。甚至連電影都沒有看過，當然，晚年的閻錫山在生活上過得比較拮据，吃喝上也是粗茶淡飯了，相比以前的大魚大肉排場，閻錫山晚年的飯菜就是饅頭青菜，與風光的時候相差甚遠。
閻錫山身邊的人越來越少一直到1960年，閻錫山去世，當然有限的隨從人員也隨之而去。不過閻錫山的心腹下屬還是一直守護著閻錫山的故居和墓園，這個人就是張日明，跟隨了閻錫山幾十年南徵北戰，之前閻錫山也是有救命之恩，這也算是報答長官了。一代國民黨的高級將領，就這樣在臺灣銷聲匿跡了，這也許是最好俄結局吧。