1936年12月26日，在張學良的堅持之下，他送蔣介石回到了南京，儘管張學良在到南京之前得到過宋美齡等人的承諾，不會為難他，可是蔣介石隨即就翻臉，也再次證明張學良是幼稚的。
張學良到了南京之後，發現住處外面總有人監視，很顯然這些人是國民黨的特務，此後張學良的行動逐漸受到限制，直到最後淪為階下囚，這對於一個當年稱霸一方的少帥來說落差巨大。
後來張學良自己也感嘆，「我的生命在1936年就結束了」，張學良這樣說也是有原因，因為被囚禁的生活如同行屍走肉一般，儘管期間張學良曾多次爭取釋放，但都功敗垂成。
最有機會被釋放的一次是在1949年1月23日，當時李宗仁代理總統一職，東北軍曾經的將領，聯名向李宗仁提出釋放張學良的請求，李宗仁也答應了，可蔣介石卻不幹，暗中叮囑陳誠至此置之不理。
就這樣張學良白高興一場，從此似乎死心了，他跟趙四小姐過著「男耕女織」的生活，為了打發時間張學良開闢了一塊地耕種，戴著鬥笠幹活，猶如農家翁一般，趙四小姐則養了許多雞。
他們這些「忙碌」只是為了打發時間而已，因為張學良的生活待遇都是充分供給的，牛排、紅酒、飲料都是應有盡有，據說當時為軟禁張學良一個月的開支，足夠裝備一個團。
一直到1975年4月5日，這一天蔣介石病逝，外界許多人都猜測張學良可能會恢復自由，那麼當時張學良對蔣介石的病逝是什麼反應呢？此時張學良已被軟禁了39年，已是垂垂老矣。
不過人們都想錯了，張學良沒有被釋放，他本人對此似乎沒有太大的反應，反而他對蔣介石的病逝有些傷感，張學良親自出席了蔣介石的葬禮，在葬禮上張學良猶如悼念老友一般。
他為蔣介石送上了一幅16字的輓聯，「關懷之殷，有如骨肉：政見之爭，有如仇讎。」這16 個字念起來不免讓人頓覺字字戳心，在張學良和蔣介石相識之初，兩人關係非常好，還結拜為兄弟。
在中原大戰的時候，張學良出兵助蔣介石取勝，隨後張學良東北易幟，讓蔣介石得以名義上統一全國，那個時候張學良對蔣介石可謂仁至義盡，然而之後兩人政見不同，走上了不同的道路。
1990年張學良恢復自由，晚年他在接受採訪時說，當年送蔣先生回南京，他做好了死的準備，不過蔣先生沒有槍斃他，只是軟禁，張學良對此還要感謝蔣介石。