唐代宗在位時，就一直猜忌郭子儀，只是他們的矛盾並沒有完全公開。
唐德宗上位後，就開始全面肢解郭子儀一系。
對於唐德宗這種選擇，大家都能理解，郭子儀也能理解。畢竟新皇帝剛上位，面對郭子儀那種巨無霸，心中缺乏安全感，這是在所難免的。
關鍵是唐德宗一上位，就是按教書操作的，所以當時人氣之高，也不是郭子儀敢正面對抗的。在這種背景下，德宗遂下達了一系列人事調動命令。
總而言之，給了郭子儀極盡尊榮的地位，然後把他的實權都解除了。
郭子儀……權任既重，功名復大，性寬大，政令頗不肅，代宗欲分其權而難之……子弟、諸婿遷官者十餘人，所領副元帥諸使悉罷之；以其裨將河東、朔方都虞候李懷光為河中尹、·寧·慶·晉·絳·慈·隰節度使，以朔方留後兼靈州長史常謙光為靈州大都督、西受降城·定遠·天德·鹽·夏·豐等軍州節度使，振武軍使渾為單于大都護、東·中二受降城、振武·鎮北·綏·銀·麟·勝等軍州節度使，分領其任。
但是，郭子儀一系的權力，都由郭子儀一系分配了。這種結果，郭子儀一系不會有太大的牴觸情緒，而且因此獲得相對獨立權力的人，還會支持中央政府的決定。
從某種意義上，這就是推恩令的翻版。郭子儀直系親屬的官職待遇，都適當提升一個格。
換而言之，以前隸屬於郭子儀的軍政長官，現在都給他們相對獨立的權力，從此他們直接對皇帝負責，不用對郭子儀負責了。
郭子儀的力量本就不是什麼統一的整體，這樣一分解，就更鬆散了。
而這種分解，對誰也是好事。皇帝不用再提防郭子儀了，而郭子儀一系也算平穩著陸了。
否則，就算郭子儀一直有足夠的定力，接他班的人呢？這個實在難說的很。如果接郭子儀班的人野心勃勃、蠢蠢欲動，擁有如此巨大的權力資源，誰敢保證他不會冒險向前再走一步呢？而出現這種結果，對誰來說，也未必是好事。
現在郭子儀一系被分割了，大家都可以安心地享受既得利益了；關鍵是，郭子儀的親人、小弟，在此過程也算混得盆滿缽滿，難免也會感覺很高興的。
當然了，郭子儀一系被分割之後，就不再是一個龐大的團隊了，而是變成了一個個自成系統的小團隊。而這種小團隊，如果按正常步驟走下去，應該是永遠無法恢復郭子儀時代的輝煌了。
德宗上位後不久，郭子儀就死了。
郭子儀死後不久，唐德宗就被人打得逃出長安城。郭子儀的兒子得知這個消息，馬上就率人跟著唐德宗出城；並且和幾個高幹子弟親自負責皇帝的安保工作。此次站隊正確，又為郭家的繁榮，續了一把火。
所以在唐憲宗時期，郭家依然風光無限。
上入駱谷，值霖雨，道塗險滑，衛士多亡歸朱，叔明之子升及郭子儀之子曙、令狐彰之子建等六人，恐有奸人危乘輿，相與齧臂為盟，著行、釘鞋，更上馬以至梁州，他人皆不得近。及還長安，上皆以為禁衛將軍，寵遇甚厚。
唐憲宗的嫡妻就是郭家大小姐（郭子儀的孫女）。憲宗當皇帝後，郭家大小姐應該升為皇后了。但是郭家大小姐的背景太深厚，因為她是郭子儀的孫女，又是代宗昇平公主的女兒，所以憲宗拒絕讓她當皇后。一切是顯然的，郭家大大小姐有那樣深的背景，如果再當了皇后，那還了得？因為類似的原因，郭家大小姐一直只是貴妃。
八年，群臣三請立為後，帝以歲子午忌，又是時後廷多嬖豔，恐後得尊位，鉗掣不得肆，故章報聞罷。
憲宗死後，郭家大小姐終於扶正了。因為憲宗死後，新上位唐穆宗就是郭家大小姐的親兒子，所以郭家小姐升成皇太后。
郭家大小姐成為皇后，她的兩個兄弟，一個是刑部尚書，一個是金吾大將軍。
穆宗嗣位，上尊號皇太后，贈曖太尉，母齊國大長公主，擢兄釗刑部尚書，鏦金吾大將軍。
郭家大小姐的兒子，當皇帝後不久死了。但是新一任皇帝，是郭家大小姐的親孫子。這樣一來，郭家大小姐又順利升為太皇太后。
事實上，郭家的繁榮在郭子儀死後，又維持了近半個世紀的繁榮；雖然這種繁榮，遠不能與郭子儀生前相比，但是依然足以稱得上當時最顯赫的家族。
事實上，在郭家大小姐孫子當皇帝時，有人甚至建議郭家大小姐臨朝稱制。因為她的孫子當時16歲。郭家大小姐拒絕了這種選擇，因為這種選擇，是非常危險的。一個玩不好，郭家就有可能陷入萬劫不復之中。
帝崩，中人有為後謀稱制者，後怒曰：「吾效武氏邪？今太子雖幼，尚可選重德為輔，吾何與外事哉？」 敬宗立，號太皇太后宣宗立，於後，諸子也，而母鄭，故侍兒，有曩怨。帝奉養禮稍薄，後鬱郁不聊，與一二侍人登勤政樓，將自隕，左右共持之。帝聞不喜，是夕後暴崩。
既然郭家不願意繼續冒險向上爬，就只能接受日漸衰落的事實。
郭家大小姐的兒子，當了三年皇帝就死了。
郭家大小姐的孫子上位後，郭家大小姐就存在一個潛在的風險，那就她的兒子媳婦，會在此過程中地位不斷上升。一切是顯然的，他孫子當了皇帝，她的兒媳婦就是皇后了。
這個並不可怕，真正可怕的還在於：她老公生前就猜忌她，因為她家的背景太深了；所以一直有意無意壓制她的地位。
她兒子上位後呢，恐怕也會類似的念頭；她孫子上位後，就更不用說了。
在這種背景下，郭家的地位其實已經開始下降了。
郭家當時的繁榮，肯定比《紅樓夢》開場時的賈家風光多了。畢竟郭子儀的孫女是太皇太后，而且郭子儀的孫子依然有省軍級的高官；而《紅樓夢》開場時的賈家，顯然沒有這樣牛X的人物了。
郭家大小姐的兒子是唐穆宗。穆宗死後，穆宗的三個兒子輪流坐莊。這樣說來，郭家大小姐的一個兒子是皇帝，三個孫都是皇帝。
單看這一點，她很風光，但是每一個孫子當皇帝，都會有新太皇后了，這樣一來，後宮是太皇太后、太后也未免太多了。
當然了，僅僅如此，還沒有什麼。最主要的是，皇位在郭家大小姐的子孫中繞了四圈，最後竟然回到了郭家大小姐的庶子家裡。
郭家大小姐的庶子上位後，麻煩就來了。因為這個庶子的母親，以前是郭家大小姐侍女。關鍵是，她和郭家大姐的關係一直不和睦；而郭家大小姐看到自己從前的侍女，竟然和自己分庭抗禮了，難免會非常不爽。
這個並不可怕，可怕的在於，郭家大小姐的庶子（唐宣宗）上位後，就對郭家大小姐愛搭不理了。要知道，郭家大小姐當了一朝皇后（事實上是貴妃）、一朝皇太后，三朝太皇太后，在過去的四十多年時間裡，一直享受著尊榮的待遇，現在突然受到這種冷遇，難免無法接受。
最要人命的在於，郭家大小姐這個庶子，有意無意地認為，他爹（也就是郭家大小姐的老公唐憲宗），當年就是被郭家大小姐與人合謀害死的。
唐憲宗的死因有三種說法。第一種說法，就是他吃長生不老藥吃死了；第二種說法，就是他被太監殺死了。第三種說法，就是郭家大小姐為了讓自己親兒子上位，於是謀殺了唐憲宗。
第三種說法，是不是可信？這個並不重要。重要的是，郭家大小姐的兒子當皇帝後，從未徹查過唐憲宗的死因；而且據普遍說法，唐憲宗就是支持郭家大小姐兒子的宦官所殺；關鍵是，他們還殺了與郭家大小姐兒子爭奪皇位的皇子，以及他的主要支持者。
這種罪行是郭家大小姐承擔不起的。所以在庶子上位一年後，郭家大小姐有一次氣得要跳樓，雖然被左右勸阻了，但是當天郭家大小姐就死了。
以此為標誌，郭家的榮耀算是徹底結束了，因為郭家再也沒出現過一個真正能拿出手的大人物。
面對這種日漸衰落的結局，郭家小姐那一代，會不會後悔當時沒有激流勇進呢？這個實在難說的很。
一個家族這樣衰落，其實也算是平穩著陸。從安史之亂開始，到郭家大小姐死，郭家的榮耀足足維持了近百年。
雖然最後的結局，多少讓人有些唏噓，因為多少是有些憋屈死的。
但是這種結局，其實也算是不錯的，因為當時冒險賭一把，誰敢說不會很快就滿門抄斬的結局呢？
而在一個眼看它起高樓，眼看它宴賓客、眼看它樓塌了的時代，一個家族能保持近百年的繁榮，其實是可遇不可求的。
大唐開國時代的功臣，有幾個能富貴兩三代呢？
房玄齡、杜如晦的家族，都是很快覆滅了，衰落之快都讓李世績感到惋惜。而李世績死後，他的兒子造武則天的反失敗，也被滅了門。
李世績將死，謂其弟弼曰「我見房玄齡、杜如晦、高季輔辛苦作得門戶，亦望垂裕後昆，並遭痴兒破家蕩 盡。我子如有操行不倫者，急即打殺，然後奏聞。」 其望子保家之心，可謂切矣。然世績附武后以固位 保門戶，而其子敬業起兵討武后被族，雖不能保家，亦可謂能雪先人之恥者。
在唐玄宗時代，李靖的家廟已經變成了楊家的養馬地。
初，天寶中，貴戚第舍雖極奢麗，而垣屋高下，猶存制度，然李靖家廟已為楊氏馬廄矣。
魏徵家族衰落之後，子孫後代都要賣祖宅過日子了，狼狽得讓大唐皇帝都感覺沒面子，因為魏徵的故居那是國家重點文物保護對象啊！而魏徵的兒孫竟然落魄到了需要賣掉它過日子，這叫什麼事呢？
安史之亂時的功臣。李光弼無法善終；僕固懷恩無法善終；魯炅無法善終；來瑱也無法善終。
張巡、許遠死了，所以蓋棺定論非常完美，但是子孫未免太不爭氣。所以，張巡的兒子竟然上書皇帝，說睢陽保衛戰的主要功臣是他爹，而所謂雙忠之一許遠，其實是個大叛徒。這樣一折騰，多少是有些斯文掃地。關鍵是，就憑張巡兒子這種表現，誰敢說他是一個能扶上牆的人物；而許遠讓他這麼一折騰，雖然官方依然承認他是烈士，但英名難免會受損。
總的來說，一個家族能保持三五代的繁榮，那可不是件容易的事。