戴笠很好色。自他結髮妻子病死後，他未再婚，還在軍統局內部明令屬下也不許結婚，已經結婚的，家屬也不能留在身邊，要一律遷回原籍，然而卻不斷地用女部下和部屬人員的妻室來滿足自己的需要。與他很熟悉的唐縱曾在日記中寫道：戴笠「最大的毛病就是愛色，他不但到處有女人，而且連朋友的女人都不分皂白，這是他私德方面，最容易令人灰心」。
在戴的一生中，這方面鬧出過多起風波，比較出名的有他與女秘書餘淑恆的關係。他曾很喜歡餘，據說準備與她結婚，自己也一度化名「餘龍」，還送餘赴美深造，希望她成為宋美齡式的女性。他親自送餘到香港，不料卻被港英警察扣留，經香港區長王新衡急報蔣介石，求助於英國駐華大使才得脫身。還有女特務周志英，她與戴有了關係之後，以為戴笠看中了自己，經常找戴笠糾纏。戴笠一氣之下把她囚禁到息烽監獄，到1943年才釋放。周被釋放後，以為戴笠回心轉意了，到重慶後馬上打扮得花枝招展的去找戴笠。戴笠當然不可能再見她，周志英就在公館門前放聲大哭，戴笠聽到後叫她進去，當面罵她無恥，要她死了這條心。而周志英卻堅決表示寧可死也不肯離開。戴笠無奈讓人將周看守起來，再次送回息烽關押，戴笠死後才被重新開釋。「幾年中，像處理這種意外的事件，前後共有七八次之多，都是與戴笠發生關係後要嫁給他，有的賴在床上不起身，有的躺在地毯上要死要活。」戴笠的這種情況，直到他遇到當時的著名影星胡蝶以後才有所好轉。當時日本敗象已露，「革命」將近成功，戴笠便信誓旦旦說要在抗戰勝利後正式迎娶胡蝶。
戴笠與胡蝶，一位是令人聞風喪膽的特務頭子，一位是有著民國第一美女之稱的電影皇后。因為兩人的顯赫聲名，他們之間的緋聞也鬧得沸沸揚揚。有人說他們兩人是你情我願，兩情相悅，甚至即將步入婚姻的殿堂，也有人說胡蝶是迫於戴笠的淫威，被秘密幽禁於小樓，直到戴笠死後，胡蝶才又與原來的丈夫潘有聲重聚。其中的細節，被渲染得繪聲繪色，讓人相信確有其事。
但我們想從胡蝶這位當事人的回憶錄中找到一些能證明兩人關係的話語，卻也不復可得。儘管如此，從其他一些資料中我們仍然能夠確認，戴笠與胡蝶確有過親密的關係，而且戴笠為討好胡蝶施展了各種手段。其間種種，還要從胡蝶的30箱珠寶財物的丟失案說起。
珍珠港事變發生時，梅蘭芳、胡蝶等社會名人都在香港避難，但香港不多久也遭淪陷。日本攻佔香港後，對處置這些社會名流表面上宣稱三點：「一、妥切保護該人的生命和財產；二、尊重該人的自由，如果感到不能接受日方的做法，想去重慶的話，無條件放行；三、不損害中國人的自尊心」，其真實目的就是要「中國人和日本人，站在平等立場互相合作」。胡蝶在回憶錄中說，所謂的無條件只是相對的，實質上是有條件的，這就是要出賣自己的良知，背叛自己的民族。
為了動用胡蝶的社會影響力，日本方面「客氣」地向胡蝶提出邀約，請胡蝶到日本拍攝《胡蝶遊東京》，表面上說只是風景片，毫無政治內容，但胡蝶認為「這是大事，絕不能讓，絕不能讓侵略軍拿我作幌子，這是原則問題」。當時她全家都為此事而焦急，胡蝶一邊推說已有身孕，不便拍片，一邊暗中準備逃離香港。她事先將自己積存的財物裝成30箱，託為四行倉庫送國旗的楊慧敏女士押送回國。然後在一個清晨，全家裝作走親戚的模樣出了家門，避開了人煙稠密的地方，悄悄離開香港到了曲江，之後又輾轉去重慶。
在逃亡的過程中，胡蝶託楊慧敏押送的30箱財物不慎丟失，箱內有胡蝶歐遊時各國名流和朋友的照片、題字及在香港飾演《孔雀東南飛》時特製的衣服及名貴首飾等，均是胡蝶極心愛之物。聽說丟了百寶箱，胡蝶心急如焚，急忙向警局報案，還因一時沒有頭緒而積鬱成疾。為了查找失物，胡蝶找到了在上海期間結識的楊虎幫忙。沒多久，楊虎的結拜兄弟戴笠便獲悉了這一消息。
戴笠對於胡蝶這個名字是不陌生的。早在20世紀30年代初戴笠剛剛開始經營特務處時，胡蝶就已經紅透了半邊天。閒暇間，戴笠也會跑到電影院看看電影。其中一部根據張恨水的小說改編的《啼笑因緣》剛一上映，便在社會上產生了轟動效應。戴笠誇讚主演胡蝶：「《啼笑因緣》真讓胡蝶給演活了，女主人公的動人，杭州公子的多情，軍閥老爺的可惡，無不貫穿在胡蝶一人之身上。真是了不得，了不得，這是我們中國人的特有的藝術之花，這是我們中國的驕傲！」戴笠從此成為胡蝶的忠實影迷，什麼《火燒紅蓮寺》、《姐妹花》、《空谷幽蘭》等胡蝶的電影，他都抽空去看。
幾年一晃，戴笠榮登軍統局局長寶座，權傾一時；胡蝶也早已嫁為人婦，過著半影半息的生活。如果沒有日軍的侵略，沒有胡蝶的財物被劫，她與戴笠的關係也許就止於聽過對方的名號而已。
當胡蝶託人尋物輾轉託到戴笠頭上，戴笠一時興奮得樂開了花。他滿口答應，並邀請胡蝶去重慶。1942年11月24日，胡蝶一家飛抵重慶，並住進了戴笠提供的重慶中四路151號公館。在這裡，胡蝶一邊調養身體，一邊等待劫案的破獲。
戴笠在這一時期施展各種手段來討胡蝶的歡心。他先是推薦胡蝶的丈夫潘有聲去昆明擔任財政部廣東區貨運處專員，這是一個肥缺，對逃難來到重慶、生活困頓的胡蝶夫婦是極具誘惑力的。接著，戴笠下令將楊慧敏夫婦押解到重慶軍統看守所嚴密查問。由於時間已久，要想再破劫案已是不可能。為博美人一笑，戴笠不惜重金派人去國外購置胡蝶丟失的珠寶，然後謊稱追回。當看到嶄新的首飾和戴笠諂媚討好的神情時，胡蝶便什麼都明白了：潘有聲的遠行，原來也是戴笠故意安排的。
為了改善胡蝶的居住條件，保證出行的私密性，戴笠還在神仙洞修建了一所華麗的公館，作為他和胡蝶的新居。在與胡蝶視察房屋工程時，他像個小孩子一樣興奮地對胡蝶說：「我最喜歡這個地方。神仙洞裡住神仙。」為了使汽車直達門口而不爬坡，他運用關係徵用了幾戶人家的地皮，連夜開石方、鋪馬路，近百名工人連續作業，歷經半個月才完成了這一工程。工人們因過度疲勞，幾乎天天都發生工傷事故。當房屋最後建成，戴笠第一次帶著胡蝶乘車直達新居門口時，他把修這條路的來源種種告訴胡蝶，向胡蝶表達愛慕之情，「換來了胡蝶抿嘴一笑」。
另在楊家山公館的時候，戴笠還特地為胡蝶修建了一所很考究的花園，從各處購置奇花異草，親手進行設計。他將水泥先做好「喜」、「壽」兩字，再在兩邊與空隙處種上花木，自認為別具匠心。花園建好後，他一有空便早晚都去陪胡蝶散步，每次去都增加崗哨，禁止特務們從附近通行和接近，因此胡蝶在那邊住了好幾年，一般人都不知道。
在戴笠得到胡蝶之後，對其他女人放縱的行為就收斂了許多，可見戴笠對胡蝶是動了真情的。據沈醉回憶，戴笠得到胡蝶後，有一次當她面籤署文件寫了「餘龍」，剛寫一半被胡蝶「嗯」了一聲，他立即在餘字下加了一橫，此後戴笠又多了個化名叫「金龍」。「餘龍」這個名字是戴笠和他的前任女秘書餘淑衡打得火熱的時候起的化名，意為他是餘家的乘龍快婿，胡蝶後來了解了這個化名的由來，便有了以上這一幕。
抗戰勝利後，戴笠除了忙於接收和肅奸，同時還費心張羅與胡蝶的婚事。他請杜月笙和唐生明先為胡蝶和潘有聲辦理離婚手續，隨後再和胡蝶正式結婚，沒想到就在這個節骨眼，戴笠因座機失事而暴斃。
戴笠死後，胡蝶與潘有聲移居香港。不久，潘有聲病逝。胡蝶於20世紀70年代末移居加拿大，以夫姓更名為潘寶娟，在溫哥華安享晚年，於1989年4月離世。
在1986年夏天胡蝶口述的回憶錄中，胡蝶沒有提到其中任何與戴笠相關的內容，只是淡然地說：
到達重慶，熟人就多了，那時很多影劇界人士通過不同的路線來到重慶，並組織了各種演劇隊參加救亡活動。我們住在南岸，一到重慶，各種應酬活動也多起來，政府方面還派人送來救濟金，我婉言謝絕了。
有聲繼續經營，往來於昆明、重慶間，除了日用品、醫藥用品，也兼做木材生意。隨著他也有很多社會應酬，關於這一段生活，也有很多傳言，而且以訛傳訛，成了有確鑿之據的事實，現在我已年近八十，心如止水，以我的年齡也算高壽了，但仍然感到人的一生其實是很短暫的，對於個人的生活瑣事，雖有訛傳，也不必過於計較，緊要的是在民族大義問題上不要含糊就可以了。
胡蝶臨去世前最後說的一句話是：「胡蝶要飛走了。」胡蝶的音容笑貌還依稀留在人們的腦海裡，但與她息息相關的那些人和事卻被永遠地塵封了起來……