1959年的廬山會議結束後，落難的彭德懷決心離開中南海，新住所確定在北京西苑掛甲屯，那裡有個破舊的大宅院叫吳家花園。9月30日上午，彭德懷走出紅牆。自此，被罷官的彭德懷接受了命運的安排，忍辱含垢，離群索居。到他離開掛甲屯之時，在吳家花園共住了六年零一個月加28天。
「不能再認錯了」
10月21日清晨，毛澤東親自打來電話，約彭德懷到中南海一晤。
在廬山會議上，彭德懷從毛澤東的口誅筆伐中痛苦地發現，昔日的老戰友竟然會想到與他分手的問題。他倔強地回答：「分手不分手那是你的問題。」現在，毛澤東把電話打到偏僻的吳家花園，彭德懷又驚又喜，心中不禁燃起一絲希望。彭德懷馬上讓司機開車，直駛中南海頤年堂。頤年堂內，除了坐在中央位置上的毛澤東，兩側還有劉少奇、朱德、鄧小平、陳毅、彭真、李富春、譚震林等人。
彭德懷明白了，原來毛澤東安排的不是個人之間的交談，而是以中央的名義找他談話。毛澤東說：「我們一起來商量你今後一段時間的工作、學習問題。中央同意你9月9日的來信，讀幾年書極好。每年有一段時間到工廠和農村去參觀和調查研究也是很好的。你年紀大了，就不要去人民公社勞動了。」
彭德懷頷首答道：「同意主席的話。」
毛澤東又問：「你準備怎麼學習？」
彭德懷答：「主要學習哲學和政治經濟學。吳家花園離黨校近，希望在黨校參加學習，準備學四年。」
毛澤東點頭表示同意，轉身讓彭真找楊尚昆，由他們倆負責安排，又說：「不要學那麼長的時間，兩年就夠了嘛。」
彭德懷還是最簡單的回答：「同意。」
毛澤東沒有再往下說，他掃視一遍在座的眾位中央負責人，又把目光聚焦到角落裡的彭德懷身上，不時地清清嗓子，好像在等待什麼。自廬山會議以來，毛澤東親自披掛上陣批判彭德懷，拋出一頂頂政治帽子，揭老底，翻老帳，一時間寒雲滾滾，神鬼噤聲。他是不是覺得黨內鬥爭的弦繃得太緊了？在座的人都看出來了，毛澤東是在等待彭德懷再次向他認錯，以便順水推舟，有所表示。
彭德懷默不作聲。
彭德懷明白毛澤東此刻的意思，如果現在當著大家的面，痛心疾首地作一次檢討，再次「認錯」，請求主席和中央的寬恕，就有可能打開橫在他和毛澤東之間的僵局，他的處境或許會有所好轉，這是絕路逢生的最後機會。但是，他能再去作那種違心的檢討嗎？不能了。在廬山上的反覆檢討，是為了顧全大局，這使得他每每想起就痛徹骨髓。他的腦海中倏忽閃過軍委擴大會議上一幕悲壯的場景：北京軍區參謀長鍾偉少將挺身而出，嚴詞駁斥吳法憲對自己的誣陷，被當場帶上手銬押出會場。能在「軍事俱樂部」、「裡通外國」這些可怕的罪名上「認錯」嗎？絕不能！那將毀掉多少同志！不能再認錯了！
在歷史面前，彭德懷毅然作出一個重如泰山的抉擇。在一片沉寂中，彭德懷慢慢站起來，感謝毛澤東和中央領導同志的關心，轉身出門。
「七千人大會」之後
1961年9月，彭德懷給毛澤東寫了一封信，要求到農村做調查研究，他請求中央允許他先去湖南故鄉搞三個月，了解農村情況；冬天回北京；明年春天再去太行山一帶。
10月5號，楊尚昆主任來電話，傳達毛主席的指示：彭德懷到哪裡去都可以，半年也行。彭德懷喜形於色，那天晚上，他進了中南海，到楊尚昆家裡送調查提綱。他說：「我不能老蹲在吳家花園裡脫離實際的讀書，我還得工作啊。」
11月1日，彭德懷乘火車到了長沙，他在湘潭烏石家鄉調查了50多天，年底回到北京後，把五份調查報告送給楊尚昆，請他轉呈毛澤東和黨中央。他再一次提出，盼毛澤東看完報告後能撥冗約他一談，他對即將召開的擴大的中央工作會議，即後來稱為「七千人大會」抱有希望，他樂觀地認為，既然黨中央能進一步糾正自己的錯誤，他和毛澤東之間的分歧就不該存在，消除誤會的時機也成熟了。
然而，事情的錯綜複雜程度遠遠超出彭德懷的想像，他的願望再次落空。
1962年1月27日，劉少奇在人民大會堂對七千名與會者作報告，談到廬山會議，他說：「這場鬥爭是完全必要的。我們開展這場鬥爭是不是只因為彭德懷同志寫了這封信呢？不是的。僅僅以彭德懷同志那封信的表面上來看，信中所說到的一些具體事情不少還是符合事實的，一個政治局委員向中央的主席寫一封信，即使信中有些意見是不對的，也並不算犯錯誤。」
不是為這封信，又是為了什麼呢？彭德懷對劉少奇的報告疑惑不解。
「是由於長期以來彭德懷同志在黨內有一個小集團」，「同某些外國人在中國搞顛覆活動有關。」報告宣布：「所有人都可以平反，唯彭德懷同志不能平反。」
坐在主席臺上的毛澤東扯過麥克風，插話說：「只要不是裡通外國。」看到這裡，彭德懷臉色驟變，這兩個在廬山會議上並沒有確定的新罪名突然出現在中央的正式報告中。他拍案而起，一把抓起電話，要通中共中央辦公廳，他對著話筒向楊尚昆喊道：「我是彭德懷，請轉主席和劉少奇同志，所謂『裡通外國』，我彭德懷向黨鄭重申明，沒有此事！」
中央沒有理會他的申明，連同毛澤東曾應允他從烏石調查回來和他見面之事也石沉大海了。
彭德懷每天黎明即起，到園子裡翻土平地、播種施肥，開始第三年的躬耕壟畝。晚飯後，他依然去村子裡散步，到群眾家串門。但是，他讀書的時間少了，他總是默然沉思，然後就趴在桌子上寫啊寫的。
彭德懷正在實施他深思熟慮後的一個大計劃，他要給黨中央和毛澤東寫一封長信，他要把廬山會議以來對他過去和現在的種種指責作個全面的答辯；他想把自己一生的經歷和功過是非，特別是錯誤和缺點，都和盤託出，請黨來審查。
1962年6月中旬，彭德懷寫完這篇長達八萬兩千餘字的信，6月16日中午，彭德懷在謄清好的長信末尾籤上自己的名字和日期，驅車中南海，請楊尚昆把八萬言長信鉛印多份，送給毛澤東和中央政治局各成員。
彭德懷天天都在等候中央的回音，兩個多月過去了，可他的信仍石沉大海，渺無音訊。
8月22日，彭德懷實在忍耐不住，他再次給毛澤東和黨中央寫了一封信，在信的最後，彭德懷寫道：「請求主席和中央組織專案組審查，處理我這一莫須有的罪名。如查有確實證據，願受黨的紀律和國家法律制裁，哪怕是處以死刑和開除黨籍，都是不會怨恨的。」「只要把這一問題弄清楚，以後，我就不會再來打擾主席和中央其他同志了。我帶著苦悶的、沉重的心情，再次請求對我所犯的錯誤進行全面的審查，作出正確的處理，泣伏呈辭，懇希鑑察。」
彭德懷哪裡知道，8月5日，毛澤東在武漢的談話中，又一次點到彭德懷：「我對彭德懷這個人比較清楚，不能給彭德懷平反。」
彭德懷不斷上書，執拗地想與毛澤東消除誤會,然而，一廂情願化作空中幻影，他的人生航船也駛進了風急浪高的惡水險灘。
毛澤東：「也許真理在你那邊……」
1962年年底，彭德懷又給毛澤東和黨中央寫了一封信，對橫加在他身上的所謂「篡軍」等六個罪名，一一做了回答。
跟「八萬言書」的命運一樣，他的信依舊是石沉深淵，僅為中央審委增加一份新的「翻案罪證」而已。既然寫信也是白搭功夫，彭德懷心寒意冷，此後三年，他就沒有再給中央寫過信。
1965年春，越南戰爭升級。4月，中共中央發出加強戰備的指示。在這種政治大背景下，敏感的毛澤東認為，根據國際國內形勢，彭德懷、黃克誠、習仲勳等人不宜留在首都，提議把他們掛職下放，分配到外地去。
9月11日上午，中央黨校副校長賈震等人來吳家花園傳話，說中央領導在人民大會堂等他去談話。彭德懷第一次進入富麗堂皇的人民大會堂，心裡還在疑惑，直到他步入江蘇廳，才看清原來是彭真。陪同人員除了賈震，還有中組部副部長喬明甫。
寒暄數語，彭真說明主旨：「今天我代表黨中央和你談話，中央決定派你去大三線任副總指揮。」
彭德懷對突如其來的中央決定毫無思想準備，他沉默片刻，冷靜地答覆道：「我是共產黨員，服從分配。但我犯了錯誤，說話沒有人聽，說錯了人家懷疑，說對了人家也懷疑。」他明確謝絕了中央的「寬大」，說自己對工業生產沒有經驗，不願意去三線，仍希望到農村作調查。
兩人話不投機，沒有個結果，彭德懷扔下一句話：「我要見毛主席，不見主席，我哪裡也不去。」
9月23日早7點半，毛澤東的秘書打電話給彭德懷，說毛主席約他8點半前去談話，彭德懷著實吃了一驚，六年來毛澤東沒有理睬他，多次寫信亦無回音，今天是怎麼啦？8點15分，他到達中南海頤年堂，毛澤東已在門口等候他。
彭德懷急步趨前，緊緊握住毛澤東的手，向和顏悅色的毛澤東問好。
「幾年不見，你顯老了。」毛澤東注視著彭德懷黑瘦的臉廓和斑白的兩鬢說。
彭德懷苦笑道：「我是無事不登三寶殿嘍。」
毛澤東說：「早在等你，還沒有睡。昨天下午接到你的信，也高興得睡不著，你這個人有個犟脾氣，幾年也不寫信，要寫就寫八萬字。」毛澤東繼續說：「現在要建設戰略後方，準備戰爭。按比例西南投資最多，戰略後方也特別重要，你去西南區是適當的。將來還可帶一點兵去打仗，以便恢復名譽。」
彭德懷的心驟然收緊，努力使自己平靜下來，他說：「搞工業我是外行，完全無知，政治上也不好做工作。」他主動談到自己在廬山會議上的三條保證，想向毛澤東討個說法。毛澤東問：「哪三條？」
彭德懷說：「在任何情況下不會做反革命；在任何情況下不會自殺；今後工作是不好做了，勞動生產，自食其力。」
毛澤東點頭道：「哦，後面兩條我還記得。廬山會議已經過去了，是歷史了。現在看來，也許真理在你那邊。對你的事，看來是批評過頭了。」
毛澤東與彭德懷密談了五個小時。他們究竟談了些什麼？目前的公開史料均未披露。幸好，彭德懷把這次談話的主要內容告訴了楊獻珍，使得這段秘史留存於世。
中午時分，劉少奇、鄧小平、彭真先後入座。毛澤東轉入正題，他說：「戰略後方最重要是西南區，它有各種資源，地理也適宜，大有作為。彭德懷同志去也許會搞出一點名堂來。建立黨的統一領導，成立建設總指揮部，李井泉為主，彭為副，還有程子華。」
彭德懷仍然堅持：「我去搞工業是外行，時間緊迫，恐有所負，我還是想去邊疆搞農業。」
毛澤東沒有答話，劉少奇、鄧小平、彭真一齊來勸說彭德懷。
毛澤東說：「彭德懷同志去西南，這是黨的政策，如果有人不同意，要他同我來談。我過去反對彭德懷同志是積極的，現在要支持他也是誠心誠意的。對老彭的看法應當是一分為二，我自己也是這樣。」
中午，毛澤東留彭德懷吃飯，劉少奇等三位領導作陪，席間氣氛融洽，交談甚歡，大家還喝了一點酒。
看到毛澤東有些疲倦，面色微醺的彭德懷起身告辭。在送彭德懷出門的時候，毛澤東忽然問道：「你在中南海遊泳池畔對我說過要鬥劉少奇同志，恐怕你是參加了『高饒反黨聯盟』了吧？」
好似一盆冰水兜頭澆下，彭德懷頓時愣住了，他一時語塞，來不及解釋，毛澤東已轉身走開，揚長而去。
怎麼又來了個大逆轉？彭德懷回到吳家花園，反反覆覆回憶了兩天兩晚，但記不起有這回事。最後他認定，是毛澤東自己搞錯了。可退一步講，即或是說過這樣的話，也不能就說是參加了「高饒反黨聯盟」吧。
這次進中南海，是彭德懷生前與毛澤東的最後一次見面。
11月10日，在彭德懷即將赴成都「履新」前的半個多月，毛澤東批准在上海正式發表姚文元的文章。他後來說，《海瑞罷官》的「要害問題是『罷官』。嘉靖皇帝罷了海瑞的官，1959年我們罷了彭德懷的官。彭德懷也是海瑞」。
誰也無法否認這一鐵的歷史事實：在十年浩劫的前夜，一座偷偷搭起來的新祭臺，首先被押上來祭旗的就是彭德懷。
11月25日，上面終於通知彭德懷，他可以在近期擇日赴川。11月28日，彭德懷離開了掛甲屯這個不尋常的人生驛站。
在北京火車站，代表中央部門來送行的只有中組部副部長喬明甫一個人。在彭梅魁、彭康白和彭鋼三家人的陪同下，彭德懷走進最後一節軟席車箱，端坐在座位上，他的情緒也稍微好了一些。跟隨彭德懷的景希珍、綦魁英和趙鳳池忙活著往行李架上擺放東西。
一聲長鳴，開往成都的33次旅客快車緩緩啟動，彭德懷走出車廂，站在尾部的平臺上，不停地向大家揮手。凜冽的寒風吹著他蒼老的面頰和稀疏的白髮，他像一株老松樹頑強地站立著。