五臺山殊像寺坐落在大白塔南裡許的鳳林谷口，面對梵仙山，風景幽雅。據《重修殊像寺碑記》,此寺初名殊祥寺， 「據傳唐神人所造也"。《元史·泰定帝紀》卷30載，泰定二年(1325)二月，皇帝也孫鐵木兒為大元皇太后「敕建殊樣寺於五臺山，賜田三百頃"。據《行實碑》,明弘治十二年(1499)三月上旬，由鐵林果禪師重建完工。文殊殿內懸塑的五百羅漢系鐵林果禪師於弘治九年(1496)請保定府祁州白羅村王章等十餘人所創作。據《敕建清涼五臺山翻修殊祥寺碑記》,明萬曆十九年(1591)四月，由殊祥寺住持明玉、明受翻修。
明天啟六年(1626),在寺後西北角一個偏僻的地方，修建了一間客堂。此客堂被後來的清廷三公主看中了，把它改為「善靜室」,作為「習靜」之處。三公主為那拉氏所生，清世祖順治的妹妹，康照的姑媽。相傳，清室定鼎後，為羈察有力的漢大臣，便將三公主嫁給吳三桂之子吳應熊(當地人講，是吳應龍)。因吳三桂叛清，康熙勒令將吳應熊絞死。那時候，由於受「婦女要守節的封建道德信條的約束，三公主不能再另嫁他人，於是來到五臺山，當時的殊像寺被譽為「瑞象天然」,是五臺山五大禪處之一，又是青廟十大寺之一，是五臺山很有名氣的寺，三公主就住在了殊像寺。
當時寺內有一個青年和尚，因遭受失戀的打擊，心靈受到重創，懷著一顆灰冷的心，來到這裡削髮為僧。由於這位青年和尚儀表堂堂，精通經典，所以常和三公主在「善靜室」研討經文。久而久之，流言四起，說他們之間有了「愛戀」。這話傳到康熙的耳朵裡，認為有損皇族聲譽，於是派遣專人來五臺山殊像寺放火焚寺，密謀讓她倆和寺院同歸於盡。但出人意料的是，大火燃燒三天，全寺片瓦無存，惟三公主和那位年輕和尚「坐靜」的「善靜室」卻巍然獨存。"善靜室"之所以獨在，康熙認為這是文殊菩薩證明他們之間並無「愛戀」一說，甚為高興，即用巨款重建殊像寺。
重建後的殊像寺，有人提議，把寺名改成「清白寺"或「無瑕寺」,以示三公主的清白純潔。由於五臺山是文殊菩薩的道場， 「殊像寺」即意味著寺院裡有文殊菩薩的塑像，故重建後的寺院，仍叫殊像寺。
殊像寺的正殿為大文殊殿，殿有聞名中外的文殊菩薩騎狻猊(傳說中的一種猛獸，類似獅子)塑像1尊，總高9.87米，是五臺山寺廟中最高的一尊文殊菩薩像。文殊菩薩坐在一隻綠毛紅纓雄獅背上，面目飽滿，鼻高而直，兩耳垂肩，口大唇厚，線條分明，身披架裝，身軀挺直，衣衫褶痕處線條顯得飄逸自如。眼睛在凝視遊人的同時，又透示出一種莊嚴肅穆的神情。雄獅張口伸舌，目光炯炯，神色飛動。
殿內三面牆壁上，從上到下懸塑著五百羅漢渡海圖，既像錦繡的掛毯，又像巨大的浮雕，刻畫出一幅佛家生活的動人圖景。滿殿飛舞的懸塑，把這尊大佛襯託得更加莊嚴宏偉。五百羅漢為什麼要渡海？有人說：一是為了聆聽龍樹菩薩的講經；二是至文殊菩薩的故鄉去朝拜文殊菩薩，並聆聽文殊菩薩講解大乘宗義的故事。在文殊騎狻猊像的右前側是善財童子，左前側為于闐王，右後側和左後側分別是佛陀波利和聖老人，他倆在交談，在于闐王和聖老人之間還有一位修羅多，他接過于闐王牽引的韁繩，表示于闐王該休息了。在文殊騎狡貌像的身後兩旁立著四尊女供養菩薩。在上述群像的前兩側，左為護法韋馱，右為密跡金剛。所有的這些塑像惟妙惟肖，生動活潑，是典型的明代彩塑。
提起殊像寺這尊文殊駕狻猊像，傳說是「神塑」。相傳在塑此像時，由於匠人塑技不佳，腦袋總是塑不成：不是大，就是小，再不然就是五官不端正，一言以蔽之，塑像的頭和身子不相稱。有一天，塑像的工匠正在揉蕎面做飯，天空突然出現一朵彩雲，很似一個佛頭，工匠趕忙用蕎面把這個佛頭塑下來，然後再用泥仿塑，不知是什麼原因，仿塑幾次都不如蕎面的理想。後來乾脆將這個蕎面佛頭安在塑像上，這尊佛像就是這樣塑成的。據民間傳說，原來的寺名叫做殊祥寺，從此改稱塑像寺。「塑像寺」的「塑」字和「殊」字，按五臺語是同音，慢慢地就叫成了殊像寺。如果佛身是泥的，佛頭真是蕎面的，在塑造史上，恐怕也是前無古人，後無來者。