傳說五臺最早是道家的地盤，《道經》裡稱五臺山為紫府山，曾建有紫府廟。《清涼山志》稱佛教的文殊菩薩初來中國時，居於石盆洞中，而石盆在道家的玄真觀內，這說明當時五臺山為道家所居。
佛教最初傳入中國時，只有少數人奉行。公元前二年，大月氏國國王的使者伊存來到當時中國的首都長安（即今西安），他口授佛經給一個名叫盧景的博士弟子，這是中國史書上關於佛教傳入中國的最早記錄。佛教傳入五臺山，普遍的說法是始於東漢。史籍記載，永平十年（公元67年）十二月，漢明帝派往西域求法的使者同兩位印度高僧迦葉摩騰和竺法蘭來到洛陽。
據《清涼山志》等多種古籍記載，東漢永平年間，漢明帝劉莊夢見一頭頂發著光的金人，待他正要向金人發問時，那金人卻悠然升空，向西飛去。第二天，他把夢境告訴了大臣們，最後與大家議論的結果是「西方有神稱為佛，且佛有佛經，金人往西飛去，可能就是佛」。漢明帝派大臣蔡愔、秦景等人赴西域拜佛求經。
當蔡、秦等在大月氏（今阿富汗一帶）求得佛經、佛像時，巧遇在當地宣揚佛教的天竺（今印度）高僧迦葉摩騰和竺法蘭，立即邀請他二人來中國講經授法。之後一行人白馬馱載佛經、佛像於永平十年十二月來到洛陽。
永平十一年，迦葉摩騰和竺法蘭離開洛陽，來到清涼山（即五臺山），發現這裡不僅是文殊菩薩演教和居住地，而且還有一座阿育王佛舍利塔，更主要的是發現顯通寺所踞地極像天竺國的靈鷲山（釋迦牟尼修行處），他二人想在此建寺，但由於當時五臺山是道教根據地，他二人頗受排擠，因此奏知漢明帝。漢朝廷為辨別佛教與道教的優劣高下，讓僧人與道士表演、說明、驗證，因此雙方達成協議——約期焚經，以別真偽（相傳，焚經地點在今西安焚經臺）。焚經的結果，道教經文全部焚毀，佛教經文卻完好如初，故他二人獲得建寺的權利。便在此建起了規模宏大的靈鷲寺。為顯弘信之意，漢明帝又加「大孚」二字，這就有了顯通寺的前身「大孚靈鷲寺」。
《大方廣佛華嚴經》中的《諸菩薩住處品》載：「東北方有處，名清涼山。從昔以來，諸菩薩眾，於中止住。現有菩薩，名文殊師利，與其眷屬，諸菩薩眾，一萬人俱，常在其中，而演說法」。《佛說文殊師利寶藏陀羅尼經》中說：「爾時，世尊復告金剛密跡主言，我滅度後，於南贍部洲(大地)東北方，有國名大震那。其國中有山，名曰五頂，文殊師利童子遊行居住，為諸眾生於中說法。」
「清涼山」、「五頂」山，恰好符合五臺山五巒巍然、氣候清涼的特徵。漢明帝時，天竺高僧攝摩騰、竺法蘭等入中土後，以天眼神通觀之，即知此山乃文殊住處，兼有育王所置佛舍利塔，故五臺山為文殊菩薩道場。