相比於國際著名的樂山大佛，蒙山大佛似乎沒什麼名氣，但是算起來蒙山大佛是中國現存最早的大型摩崖石刻塑像，比樂山大佛要早上一百五六十年。
北齊皇族及官僚階層大多都篤信佛教，尤其是北齊在鄴城定都之後，開窟造像的風氣十分興盛，蒙山大佛就是在這種背景下修建的。
根據《北齊書·幼主傳》的記載「承武成之奢麗……鑿晉陽西山大佛為大佛像，一夜燃油萬盆，光照宮內。」
另外根據相關的史料記載，可以知道從北齊天寶二年，也就是公元551年開始，蒙山大佛開始動工開鑿。
直到北齊天統二年，也就是公元566年，距離大佛開始建造已經過去25年，蒙山大佛才算完成修建。
同時，在蒙山大佛的所在地還修建有寺院。
不過顯然，蒙山大佛並沒有保佑北齊國祚永傳，不久之後隋朝統一，然後就是後面的唐朝。
唐高宗李治和武則天極度崇佛，根據《法苑珠林》記載，武則天還專門"關照"過蒙山大佛。命令宮女們為大佛製作了一件巨大無比的袈裟，派遣專人送到太原，為大佛披上。
但是在唐代中晚期佛教勢力極度膨脹，甚至威脅到王室的權利，所以唐武宗時期發起了規模龐大的滅佛運動。
在這場運動中，蒙山大佛所在的寺廟幾乎全部被毀，但是大佛本身卻未傷毫髮。
在唐王朝的最後一段時期，以及後來的五代時期，力大的統治者又投入巨大的人力物力，重修蒙山大佛所在的寺院，使其再一次成為太原一帶佛教的中心。
但是在宋朝開始，蒙山大佛就逐漸的退出了歷史舞臺，很大程度上是和宋朝的統治者對太原一帶的排斥相關，這是出於政治的原因。
宋太宗為了統一全國，在太平興國年間出兵討伐北漢，而北漢政權的政治中心就是太原及其周邊。
由於宋朝軍隊作戰勇猛，北漢政權很快就宣布投降，但是令人非常驚訝的是雖然北漢政權選擇投降，但是太原（晉陽）城內的軍民卻選擇繼續對抗宋軍。
宋太宗為了徹底消除隱患，在攻下晉陽城之後將晉陽城徹底毀成一片廢墟。
在大宋王朝之後的統治之中，太原一帶似乎是被有意的遺忘了，失去了最大的財主——統治者階級的供養，蒙山大佛及其附近的寺院也都失去了最大的經濟來源，逐漸荒廢。
一直到元代時候，蒙山大佛的頭部也因為長久的風吹日曬崩落。
到了明代洪武年間，朱元璋的第三子晉王朱棡還帶人重新修了一下蒙山大佛附近的寺院。
由於蒙山大佛是依山開鑿，經過長時期的風吹日曬，較為明顯的頭部也崩落至地下，掩埋在廢墟之中，整個身體似乎和崖壁融為一體，所以在很長時間裡，顯赫了800多年的蒙山大佛究竟隱藏在哪裡？這是許多人心頭的疑問。
一直到上世紀的80年代，山西整理地方志的工作人員們，才在多年的野外考察之後找到了它的蹤跡。
2007年為了文物保護，同時也是為了旅遊開發，蒙山大佛的修繕工作開始完成，一直到2008年3月份，成功復原了大佛的頭部。