蒙山摩崖大佛从551年（北齐天保二年）始凿，历经20余年方成。史载：“后主（高）纬···承武成之奢丽······所爱不恒，数毁而又复。夜则以火照作，寒则以汤为泥，百工穷困，无时休息，凿晋阳西山为大佛像，一夜燃油万盆，光照宫内······穷极工巧，运石填泉，劳费亿计。人牛死者，不可胜记。”自北齐镌凿大佛始建开化寺，其后历代均有修葺。601年（隋仁寿元年），汉王杨谅在蒙山大佛前增建佛阁，改寺名为“净明”。620年（唐武德三年），唐高祖李渊至蒙山礼佛，夜梦化佛，满室豪光数丈，复名“开化寺”。660年（显庆五年），唐高宗李治与皇后武则天至晋阳瞻拜开化寺蒙山大佛与童子寺龙山大佛，次年又派专使赐披袈裟。唐武宗李炎灭佛，开化寺开始衰败，大佛阁倾圮，但大佛未损。895年（唐乾宁二年），河东节度使李克用，用工30万，用5年时间重修大佛阁，名为“庄严阁”。其后不久，庄严阁颓废。945年（后晋开运二年），北平王刘知远留守晋阳（时称北京），又重新修建庄严阁，其阁高5层，每层13楹、26间，共计130间，时有苏禹珪撰《重修蒙山开化庄严阁记》碑。这个时期的开化寺，高阁凌云，巨佛摩天，殿宇嵯峨，为晋阳城外一景。其后，北汉英武帝刘继元在蒙山南峰修建避暑宫，宋朝又在大佛之后的北峰修建杭州天目山祖师峰彻禅师塔，其塔距大佛仅200余米，高大巍峨，称“雁塔峰台”。

蒙山摩崖大佛高66.6米，仅比世界最大石佛四川乐山大佛（高71米）低数米，但镌刻时间要比始凿于713年（唐开元元年）的乐山大佛早160余年，堪称世界之最。

由于大佛太高，近观只见巨石突兀，俨然一座石山，无法仰观全貌，于是在其东南1公里处专为远瞻大佛修建了前院。前院坐西朝东，面积约为700平方米，原有山门、钟鼓楼、厢房、耳厅、过厅、大殿等建筑，殿宇中有许多泥塑、木雕、铁铸的佛像。

1368年（元至正二十八年），开化寺遭兵火而毁，大佛头部掉落，雁塔峰台和庄严阁的残砖破瓦以及山间泥石将大佛掩埋覆盖，民间有谣“倒了千层塔，砸了后寺院”。1385年（明洪武十八年），晋王朱枫重修寺院，更名“法华寺”，当时只修了前院，没有对后院及大佛进行修葺。自此以后，开化寺后院和蒙山大佛便不为人知，民间有谣“到了开化寺，见寺不见佛”。

直到20世纪80年代全国地名普查时，太原市南郊区地名办公室王剑霓等人发现开化沟蒙山“大肚崖”上有枋眼，好似湮没失寻的蒙山大佛。后经山西大学历史系教授郝树侯、山西省博物馆顾问高寿田及国家文化部文物专家数次考察鉴定，又发现了大佛西侧山崖上有深、方均为0.6米左右的石洞多处，为当初镶嵌佛阁梁檩而凿；大佛东侧山崖石窟有镌满经文的残碎石碑，再东数米有座方形穹窿石洞，石灰抹面，有云形彩绘，门顶壁上有题书“五龙洞碑记”墨迹；大佛前面为开阔山洼、亦有古建痕迹；大佛背后与佛颈等高的山崖顶上为一大片开阔地，残砖碎石古建痕迹显然，且有镌刻“杭州天目山峰彻禅师”字样的断碣······这才找到了湮没600余年的蒙山摩崖大佛。大佛初发现时，颈高2米，粗5米，胸部高15米、宽24米，以下腹、胳膊、手、腿、足均被瓦砾泥沙覆埋，不得而见。20世纪90年代，太原市南郊区文物部门组织附近农民发掘蒙山大佛下部，将大佛的胳膊、手、腿以及佛座之下的台阶、小石狮、香炉都清理出来，使大佛显露出来。1998年，晋源区成立，多次组织有关人士上山考察，准备近期修复蒙山大佛，目前正在积极筹集资金。