所謂的北京四大兇宅，是指虎坊橋湖廣會館、西單小石虎胡同33號、西安門禮王府、朝陽門內大街81號，之所以被稱作為「兇宅」，以中國的傳統理念來講，裡面必然是有著一些危及到人的不可預知現象。歷史傳說有多個版本。
1、該樓為兩幢西洋小樓，大約修建於十九世紀末至二十世紀初，初為是愛爾蘭人的天主教堂。81號鬼樓大致流傳著以下一些離奇的傳說（忽視版本差異）：據傳，81號樓被國民黨軍官佔用，後來其三姨太太在此上吊自殺，軍官全家也被滿門抄斬。於是樓裡就出現了鬧鬼的事。每當風雨交加或是月圓星稀的夜晚，房間裡就會傳出悽慘的哭聲……
2、在抗戰時期，北京朝內大街81號居住的是京城大戶霍家，正如電影京城81號所演，霍家抓了一位青樓女子為死去的霍家二弟舉辦冥婚，這位女子在恐慌之下跳樓自殺。這件事後，霍家人相繼離世，家族也就此敗落。相傳在那個青樓女子跳樓的窗邊擺放著一個小熊和鏡子，凌晨12點時照鏡子會發現鏡中不是自己，旁邊的小熊也會張嘴說話。
隨著時間的推移，老宅需要在保留原基礎上改造。但這個工程開工不久後就被叫停，因為工人們相繼消失，從發現的密道中去尋找人的人也不再出來。 正是這一樁樁事件使得老宅的陰氣越來越重，也為此蒙上了一層神秘的面紗。
官方的說法，81號內從來沒有過工人無故失蹤的報案記錄，至於有「鬼火」冒出，很大程度上是因為一些社會閒散人員或是探訪者在裡面停留時留下的燈光，一些劇組在裡面取景時也是免不了弄出些動靜聲響或是燈光的。
新中國建立以後，朝內大街81號的這個建築，被徵用當了民政局某下屬單位的辦公樓。直到上世紀90年代末，才轉手給天主教北京總教區。可惜因為年久失修，又因為這個建築具有歷史價值，不能直接拆了，教會就想出租出去。你出租出去，人家就得裝修。這個裝修費用太貴了（需保存原樣）。
《京城81號》捧紅了這棟樓房，也引來了無數的遊客來「鬼屋」探險，由於年代久遠，房屋已經破敗，政府在近年投資將它重新修繕，2017年3月完工，並且每年1000萬的價格向外出租，現已被人租下，網友們紛紛對租房這表示佩服，無論是財力還是勇氣。
謠言就是謠言，不管傳的多麼的神乎其神，它最終的結局只會被事實的真想所淹沒。所以「謠言止於智者」才會是千百年來不變的真理。