李敖在遇到胡因夢之前，其實已經有女友了，並且兩人已經同居，但是，在遇到胡因夢之後，李敖毫不避諱也面無慚愧地對女友劉會雲說：「我愛你還是百分之百，但是現在來了個千分之千的，所以你得暫時避一下。」
於是，他就讓劉會雲去了美國，並給了她210萬的「暫時迴避」基金。不過，李敖很快就心疼這筆錢了，他在與胡因夢談論婚嫁的時候說：「我已經給了劉會雲210萬，你如果真的愛你的女兒，就應該拿出來210萬的'相對基金'才是」。氣的胡因夢的母親大罵李敖是來騙錢的。
結婚後，李敖跟胡因夢並沒有郎情妾意，而是爭吵不斷。李敖不允許胡因夢光著腳在家裡走路，並且有一次，胡因夢為李敖燉排骨，之前幾乎沒怎麼下過廚房的她，從冰箱拿出冷凍的排骨放進了鍋裡，李敖看見了氣的大罵：「你怎麼這麼沒常識，不知道冷凍排骨先要放出來解凍的嘛，這樣煮就老了，你個沒常識的蠢蛋。」胡因夢氣地回了娘家，因為李敖服軟道歉，兩人又重歸於好。
李敖和胡因夢的婚姻僅僅維持了3個月零22天，便以離婚收場，而胡因夢卻被李敖拿出來說了一輩子，李敖還曾公開討論胡因夢便秘的事。
在胡因夢50歲生日的時候，李敖給她送去了一束玫瑰花，共50朵。咋一看，還挺溫馨浪漫的，但李敖公開對記者說：「此舉只是為了提醒她，你再美，也已經50歲了。」
而胡因夢在自傳裡說過一句話：「偶像只適合遠觀的，一旦生活在同一個屋簷下，所有瑣碎的真相都會曝光，因此在同居者的眼中既沒有偉人，也沒有美人，」