仙居始建於唐代的廟宇不多，慈感廟卻是其中的一座。按《嘉定赤城志》的記載，慈感廟原名為杜氏二神女祠，大約建於唐代天寶中期，最早所祠祀的為杜氏二女。對此，民間有較為詳細的傳說。相傳，杜氏二女生系東陽人，生於隋代大業末年，家中以賣湯餅為業。年及十五歲時，父母雙亡，有庖人挑逗調戲，二女不堪其辱，激憤而起，殺死庖人後逃隱於盂溪山中。不料，山洪爆發，溺亡於盂溪，為石藤、石稜二夫人。唐天寶初年時，杜氏二女託夢於寓居長安的書生鍾離介，鍾離介在科舉中第後任仙居縣令，於是立廟祠祀。
六朝至隋唐是志怪故事流行的一個時代。爾時，有《冥通記》、《還冤記》、《靈鬼錄》等志怪小說，專門記錄神鬼、夢幻之事。於是，鍾離介與杜氏二女的傳說也被演繹成了情節離奇的志怪故事。據《光緒仙居縣誌》記錄，鍾離介本為寓居長安的一書生，有一日夢到二女子鳳冠霞帔，環佩珊然，作揖相告說：吾家盂溪，君將科舉中第，為吾邑縣令。後來，果如其言。待鍾離介任仙居縣令時，探訪盂溪，見到二枯骨掛在藤上，忽近忽遠，用斧頭斫藤，藤即流血，削石，石亦流血，及從藤上放下枯骨，則鉤連有聲。道遇樵夫，以為此乃石藤、石稜二夫人的鎖子骨（鎖骨菩薩也，詳見《續玄怪錄之延州婦女》），言畢便消失不見了。鍾離介對此大感奇異，便以其骨塑像祠祀。這便是慈感廟的前身。當然，相同的故事情節還被載入了宋代卲雍的《夢林玄解》，只不過將鍾離介誤作了令狐。
宋代的杜氏二女祠開始多靈異事件。先是北宋景德四年（1007），仙居縣令郭易直在杜氏二女廟祈雨有驗，鑑於廟在盂溪深山，欲遷徙至盂溪山麓，卻對建材和選址猶豫未決。爾時，有山麓之民馬直，夜夢杜氏二女相告曰：「得而居，置廟當酬值」。翌日，入盂溪山坑捕魚，得到了金釵。馬直便將夢到的以及應驗的事稟告縣令，但未被採信。其後的一天晚上，大雨驟至，盂溪上漂浮了大量木材，至馬氏居所而止。（按《臺郡識小錄》載馬直當為祝氏，系祝氏舍宅而建，故杜氏二女祠又名杜祝廟。民諺有「先有祝家寮，後有仙居縣」，祝氏為盂溪山內較早的居民。）縣令終於認為馬直的話可信，便在馬氏的居宅上建廟。又，北宋宣和年間，呂師囊變亂時，百姓避難盂溪山中，叛亂軍士遠望盂溪，草木皆兵，恐懼而不敢侵犯。為此，宋慶元二年（1196）時，縣令趙幼聞把杜氏二女祠的事情上奏朝廷，為之將遷徙至盂溪山麓的杜氏二女廟賜改為慈感廟。而自此以後，位於盂溪山山麓的廟便被稱為慈感廟，俗稱杜廟；位於盂溪深山的廟，俗稱祖廟。
明代時，慈感廟內增祀了鄭氏二女。鄭氏二女即靖難忠臣鄭恕的兩個女兒。據《光緒仙居縣誌》載，靖難之變時，鄭恕為蕭縣知縣，靖難兵至時，鄭恕死難，二女被執亦死之。明代嘉靖年間時，認為鄭氏二女的氣節可匹敵杜氏二女，故在慈感廟內增祀鄭氏二女，稱「四烈女祠」。慈感廟在明代萬曆三十年時，曾由知縣陳學繼重修過一次。其後，慈感廟便開始傾圮。迨至清代康熙十一年，僧人文充在原址上重建，並利用廟前的流水作橋、建亭，而慈感廟亭下水中則多無底螺。關於無底螺的來歷，民間相傳，曾有寺僧買螺螄放生，其徒私自將螺螄的底鉗掉，欲煮熟食用，為僧人所見，仍取回來放生亭下。後來，亭下的螺螄滋生，都變成了沒底螺。
明清時期，圍繞杜氏二女的傳說仍頗具傳奇色彩。據《光緒仙居縣誌》和《臺郡識小錄》記載，杜氏二女廟曾有多座分祠，最早的分祠還建於唐代。民間相傳，鍾離介離任時曾攜帶杜氏二女骸骨北上，將渡揚子江時驟逢風雨大作、波濤湧起，夢神相告曰不願北上，於是便在江幹塑像祠祀。該祠後來一直存續到清代。清乾隆年間時，仙居人朱燦公車北上，曾入祠拜祈，並留有「穩心依杜蜀，放膽上金焦」的題詠。只不過，朱氏在自注中將杜祝誤作了「杜蜀」。後由諸生朱韶鈞予以糾正。此外，明代嘉靖年間時，因縣城東面的白水橋屢被洪水衝毀，邑人曾在東門外和尚巖祀杜氏二女壓勝，直到清代同治年間傾圮。