在清朝歷史上，「四朝元老」為數並不多，潘世恩算是其中的典型，說他是清朝300年來運氣最好的宰相一點都不為過，潘世恩活了足足86歲，他為官五十餘年，歷事乾隆、嘉慶、道光、鹹豐四朝。潘世恩為官正直，外柔內剛，他先後任體仁閣大學士、軍機大臣、東閣大學士、武英殿大學士等職。
潘世恩，乾隆三十四年（1770年）出生於江蘇吳縣，他自幼聰穎好學，十六歲應童子試中舉，後就讀於紫陽書院。乾隆五十八年（公元1793年）潘世恩狀元及第，授修撰。對於這位新科狀元，不僅乾隆帝對他很看好，當朝第一權臣和珅也想把他拉攏到自己的身邊，納為自己的黨羽。然而，潘世恩年紀雖輕，但為人老成，就是不肯上和珅的賊船。潘世恩以後歷禮部、兵部、戶部、吏部侍郎，督雲南、浙江、江西學政。
嘉慶四年，潘世恩被擢升為內閣學士，後歷任禮部、兵部、戶部侍郎。嘉慶十二年，潘世恩充續辦《四庫全書》總裁、文穎館總裁。次年任翰林院掌院學士。道光四年（1824年），潘世恩因父親病逝，歸鄉丁憂。道光七年（1827年），署工部侍郎，後任吏部左侍郎，充國史館副總裁、左都御史。
潘世恩是個宰相，但每次遇到事情時，卻表現得像個局外人，從來不發表自己的意見。鴉片戰爭時，穆彰阿主張與英人求和，潘世恩心裡認為不對，卻不敢公開表示反對。就連後來舉薦林則徐，也是在鹹豐罷斥穆彰阿之後才敢上奏的。也就是說，潘世恩當官，奉行的原則就是做得少錯得少，但凡是有一絲風險的事情，潘世恩寧可閉上嘴巴，選擇不發表見解來保全自己。
鹹豐帝即位以後，潘世恩屢次乞休，最終以大學士官位職銜退休。鹹豐帝下詔求賢時，潘世恩以八十歲高齡保薦林則徐。姚瑩等人。鹹豐三年，帝親書「瓊林人瑞」匾額相贈。次年潘世恩在京逝世，享年八十六歲，諡號「文恭」入祀賢良祠。