公元88年，經歷了巫蠱之禍的恐怖、殺戮和太子劉據的自殺，曾經創造了輝煌業績的漢武帝逐漸有了將死的預感，於是，他將自己的弟弟霍光召到宮中，賜給霍光，希望能像古代的司馬光那樣，把宮中畫師畫的「周公負成王朝諸侯圖」賜給霍光，讓他背上周成王的背，來輔佐幼主劉弗陵。
漢昭帝死後無子，漢武帝的兒子只有廣陵王劉胥，劉胥是個成年人，身材高大，身強力壯，喜歡遊樂，力能扛鼎，空手與熊、野豬等猛獸搏鬥，對王位也有雄心，此人要是當上皇帝還可以，但霍光他不樂意，大家都支持立廣陵王。這時有人上書支持霍光的意見，霍光非常高興，就把這封信給丞相看了，封這個上書人為九江太守。終於有劉賀了。這時，霍光的想法大家都明白了，他需要一個能掌控的皇帝。
劉賀當上了皇帝，卻一點也不像皇帝。每一天，他不但不讓霍光和大臣們商議國事，還把原來在昌邑的全部人馬都帶到長安，甚至還把昌邑的那些鼓鼓、鬥雞、鬥狗、耍把戲的人都帶到宮中，讓他們陪著自己玩，隨便賞錢。一時，整個王宮被劉賀攪得灰濛濛，烏煙瘴氣。據《漢書·霍光金日圖傳》所載，劉賀「受璽起至27日，使臣午間行，持節詔諸官徵發，一千一百二十七人。」27天之內就做了1127件荒唐事，平均每天40件。這一數字太驚人了！
劉賀的荒唐行經，引起了霍光的憤慨和悔恨，也使他感到事情的嚴重性，若不及早處理，就會使漢家天下斷送在他手中。霍光決定「更選賢而立之」，他與群臣結盟，得到皇太后允許後，乘機與劉賀玩，控制了他從昌邑帶來的親信。然後在未央宮承明殿召開「公審會」，列舉劉賀的種種「罪過」，將其革除。
霍光廢黜劉賀後，將劉據的孫子劉病立為皇帝，即漢宣帝。這個漢宣帝會辦事啊，什麼都不管，霍光想幹什麼就幹什麼，最後霍光還是不滿足，把漢宣帝結髮妻子下毒，讓自己的孫女當皇后，這些漢宣帝都忍了。霍光一死，漢宣帝就下令將霍光九族消滅。