公元654年，有一天，唐高宗李治帶著武昭儀(即武則天)到長孫無忌家喝酒。席間，唐高宗說：「舅舅，我能繼位，你功勞最大。」武昭儀插話：「陛下應該重賞舅舅。」長孫無忌心想：「你們這是給我演雙簧啊！」
長孫無忌猜對了，李治確實有求於他。原來，李治繼位後，被武媚娘(即武則天)迷的神魂顛倒，加上武則天城府極深，李治便想廢了王皇后，改立武則天為皇后。
皇上換個老婆，哪有那麼簡單。王皇后可不是普通民女，而是家族顯赫，官宦之女，其父母兩族都是李唐皇室姻親。再者說，皇后又沒什麼錯，隨便把人家休了，於理不通嘛。
武則天明白，要想鵲巢鳩佔，繞不過長孫無忌這個皇上親舅舅兼託孤大臣。於是，就鼓動唐高宗來到長孫無忌府，走走感情路線。為了求得舅舅支持，李治下了血本，賞賜長孫無忌金銀絲帛十大車，而且，長孫無忌的三個庶出之子也封為朝散大夫。
長孫無忌都笑納了。
一看長孫無忌收了禮，李治說：「舅舅，孟子云：『不孝有三，無後為大。』我與皇后成婚十幾年，她始終未能給朕生下一兒半女，你說該怎麼辦呀？」
武則天也眼巴巴地看著長孫無忌，希望他能聽懂皇上的弦外之音。當然，更希望他能主動提出來「廢王立武」。
沒想到，長孫無忌卻揣著明白裝糊塗，說：「皇上無需焦慮，只要好好調養龍體，一定子嗣繁盛，我大唐江山萬世不絕。」說完，端起酒杯轉移話題。
乘興而去，掃興而歸，唐高宗悶悶不樂，武則天更是氣得咬牙切齒：「這個老東西，真不識抬舉！收了那麼多東西，一點事也不辦，可惡！」
武則天知道，長孫無忌權傾朝野，自己沒有實力跟他硬碰硬。於是，又派自己的母親楊氏到長孫無忌家請求，還讓禮部尚書許敬宗加以勸說，都被無忌倔了回來。
唐高宗火了：「我換個老婆，多大點事，這也不行，那也不行，到底誰是皇上？我還非換不可了！」於是，召長孫無忌、李勣、于志寧、褚遂良入宮商議。
李勣是個老滑頭，開會那天泡了病號。果然，會開得火藥味十足，于志寧嚇得不敢說話，褚遂良和長孫無忌強烈反對，武則天氣急，抓起茶杯就衝長孫無忌扔過去。
一邊是心愛的女人不依不饒，一邊是輔政的大臣寸步不讓，唐高宗很苦惱，一天，問李勣：「我想立武氏為後，舅舅他們死活不同意，應該怎麼辦呢？」
李勣雖是大唐勳臣，但是跟長孫無忌不一樣，不是李世民的腹心之臣，而且，他跟長孫無忌性尿不到一個壺裡。於是，點撥李治說：「這是陛下家事，何必問別人呢。」
一句話點醒夢中人，李治一拍大腿，說：「對呀，這是我自己的私事，我跟他們商量幹什麼，真是吃飽了撐的。」於是，堅決廢掉王皇后，立了武則天為後。
長孫無忌接受賞賜卻不支持自己，武則天對他懷恨在心。公元659年，武則天的心腹許敬宗已升為中書令，倆人經過密謀，指使人向高宗密奏，誣告長孫無忌圖謀造反。
唐高宗便命許敬宗審查此案。許敬宗說：「無忌今之奸雄，王莽、司馬懿之流也。如果他知道事情敗露，必然毀滅證據。陛下應果斷處理，儘快拘捕他。」
唐高宗假模假式地哭道：「他畢竟是我親舅舅，而且又是先帝託孤之臣，我怎麼忍心呢，後代史官的吐沫星子會淹死我的。」
許敬宗說：「昔日漢文帝殺舅父薄昭，天下都稱其為明主。」武則天也在一旁敲鑼邊：「許大人說得對！司馬懿也是託孤重臣，可是，他卻篡奪曹魏江山。」
於是，唐高宗不再猶豫，下詔削去長孫無忌的官職和封邑，流放黔州。後來，許敬宗命人到黔州，逼長孫無忌自縊。無忌死後，親屬被流放嶺南。
長孫無忌貴為國舅，且有功於李治(當年，太子李承乾被廢，李治立為太子。後李世民反悔，想改立吳王李恪，長孫無忌力爭，李治才得以繼位)，但是為什麼落得一個貶官自縊的下場呢？因為貪！
唐高宗想立妾為後，所以才把無忌的三個妾生子封官，而且「重賂以悅之，厚利以誘之」，這都不是無忌應該得的封賞，所謂「非德賞也」，說通俗點，就是不義之財！對這些錢財封賞，長孫無忌沒有推卻，這就德行有虧了。
我們經常說，拿人家的手短，吃人家的醉短，拿人錢財，替人消災。長孫無忌在這方面犯了大忌，「欲以義正君，而先沒於利」，天天給別人講大道理，而自己又不遵循天道，所以，武氏怨恨，奸臣得道，高宗不滿，說白了，長孫無忌不學無術啊。