慈相寺始建于唐代，寺名慈相，是因为该寺原是尊奉大唐三藏法师玄奘开创的慈相宗，慈相宗教义深奥，在中原仅传三代即式微，但却在山西平遥一隅之地保留了下来，极其难得。寺院如今由山门、乐楼（仅存高台基）、关帝庙、钟鼓楼、正殿和东西廊窑、无名大师灵塔组成。
无名大师灵塔，建于宋代，又名麓台塔，高48.2米，八角九层楼阁式。塔身外形古朴，气象宏伟，第二层塔之内壁，残存早期的千佛壁画，作于金代，精美绝伦。麓台塔前有6米多高的宋庆历碑，建于宋庆历六年（1046年），刻有《大宋西河郡麓台圣俱寺碑铭并序》，书法清秀端庄，清初山西名家傅山先生来游斯寺时，就对碑之书法多有赞叹之词。
主建筑大雄宝殿内现存“三身佛”坐像和壁画100余平方米，均系金代作品，而且是高手之作；寺内正殿前原有金代慈相寺寺院布局石刻图，已被县文物局收去馆藏。中殿前檐下现存金泰和元年（1201年）“僧众塔记碑”，碑阴有“慈相寺宗派图”，是宋金时期佛教慈恩宗在慈相寺的宗派传承图，其中共录九代僧众的法号、嘉称及师从关系线，为国内仅有，研究价值极高。
除正殿与砖塔为金代遗物外，余者是清代重建之物麓台塔、大殿壁画、宋金两碑都是国内罕见的无价之宝，所以慈相寺虽然规模不大，仍被列入第五批全国重点文物保护单位目录。
