在清朝歷史上，「四朝元老」為數並不多，潘世恩算是其中的典型，他為官五十餘年，歷事乾隆、嘉慶、道光、鹹豐四朝。潘世恩為官正直，外柔內剛，他先後任體仁閣大學士、軍機大臣、東閣大學士、武英殿大學士等職。
潘世恩，乾隆三十四年（1770年）出生於江蘇吳縣，他自幼聰穎好學，十六歲應童子試中舉，後就讀於紫陽書院。乾隆五十八年，二十四的潘世恩參加殿試奪魁考中狀元，授職翰林院撰修，掌修國史，從此官運亨通。
對於這位新科狀元，不僅乾隆帝對他很看好，當朝第一權臣和珅也想把他拉攏到自己的身邊，納為自己的黨羽。然而，潘世恩年紀雖輕，但為人老成，就是不肯上和珅的賊船。
嘉慶三年（1798年），潘世恩以大考第一升為侍讀。此後歷任詹事府左春坊庶士、署日講起居注官、翰林院侍講學士、充會試同考官、侍讀學士、鹹陽宮總裁，還兩次升任詹事府少詹事，歷任雲南學政、兵部左、右侍郎。提督浙江學政。
嘉慶四年，潘世恩被擢升為內閣學士，後歷任禮部、兵部、戶部侍郎。嘉慶十二年，潘世恩充續辦《四庫全書》總裁、文穎館總裁。次年任翰林院掌院學士。
嘉慶十七年，潘世恩授工部尚書。十九年任兵部尚書，署武英殿總裁，不久又復署吏部尚書，充庶吉士散館閱卷大臣、國史館總裁，復署武英殿總裁。潘世恩母喪回家後，以老父年邁，請求在家待養，嘉慶帝不悅，以他陳情輕率，有悖於人臣之禮而降為侍郎。
道光四年（1824年），潘世恩因父親病逝，歸鄉丁憂。道光七年（1827年），署工部侍郎，後任吏部左侍郎，充國史館副總裁、左都御史。次年，充任殿試閱卷大臣、吏部尚書，充會試正考官。署吏部尚書，經筵講官。
道光九年（1829年），潘世恩充殿試讀卷官、朝考閱卷官，復署翰林院掌院學士、禮部尚書、經筵講官。次年，升工部尚書。道光十三年，潘世恩終被授予體仁閣大學士，第二年又在軍機大臣上行走，開始進入權力的頂層。
道光十五年（1835年），潘世恩再授東閣大學士，次年任上書房總師傅，改升武英殿大學士，加太子太保銜。道光帝對他寵遇特隆，特許他紫禁城乘轎，入宮派太監扶持。每逢大壽，都會御書賜他。鴉片戰爭爆發後，潘世恩支持林則徐前往廣東禁菸，力主嚴內治，方能御外敵。
道光二十四年（1844年），潘世恩奏請開發甘肅、新疆，召民墾種，節餉實邊。道光二十八年，潘世恩晉升太子太傅。道光三十年（1850年），潘世恩因病提出致仕，未獲批准。
鹹豐帝即位以後，潘世恩屢次乞休，最終以大學士官位職銜退休。鹹豐帝下詔求賢時，潘世恩以八十歲高齡保薦林則徐。姚瑩等人。
鹹豐二年（1852年），科舉鄉試以後，潘世恩以乾隆朝舉人，60年後再次赴鹿鳴宴。鹹豐三年（1853年），新科會試後，潘世恩應邀參加禮部的瓊林宴，而主持這科會考的主考官正是他的孫子、禮部侍郎潘祖蔭。翻遍大清歷史，歷事四朝皇帝而又重赴兩次盛宴的獨此一人。
鹹豐四年（1854年），潘世恩病逝，入祀賢良祠，諡「文恭」。