觉山寺始建于北魏太和七年（公元483年），整座寺院精巧玲拢，大小禅院有134间，并位于三条轴线之上，显得错落有序，但最为称奇的是觉山寺的白塔、水井和山峰在同一个高度上，都是13丈，留下了“塔井山齐（奇）”觉山寺的美名。
寺庙内的佛教殿宇非常齐全，有钟楼、鼓楼、梆楼、点楼、天王殿、金刚殿、罗汉殿、韦驮殿、弥勒殿、贵真殿。大雄宝殿及丈昌阁和魁星阁等等。
大雄宝殿内墙壁上所画为八洞神仙，线条自然流畅，服饰搭配得体，体态丰满匀称，色彩清新艳丽。奇怪的是壁画中有百分之七十以上的神仙面容都一样，轮廓清晰，细眉长目，鼻准方直，两耳垂肩，朱毫点唇，给人一种端庄肃穆和慈祥之感。这些道教神仙的面容与佛祖的面容特征一样，可见该寺是二教合一的典范。
觉山寺四周山势相互绵延，形似莲台，把整座寺院托在当中，其中东侧有两个山头对在一起，形成一个凹宇形，像搁毛笔的笔架，名叫笔架山，代表的是文运亨通。每逢雨后或清晨大雾弥漫之时，半山腰会出现一块黑色的方碑，取名“雾碑”。每年农历四月初四庙会之日，定要下雨，雨过之后，它便随着雾不断出现，给人以无限遐思。
