赵杲观位于天台山峡谷中，旧称天台寺，现存建筑物为明代重修。整个建筑利用当地的天然石洞，在悬岸峭壁上略加人工建筑而成。相传晋国赵襄子诱杀其姐夫代国王赵杲，赵杲外逃隐居于此，成为僧人。其中多处庙宇建在光滑的石壁上，想进去的话必须沿铁索攀援而上，地势十分险峻。
现存赵杲观可分南北两大洞群。北洞是主体建筑部分，中区有大殿三间，座北向南。原为道教三清塑像，后被佛教改成三世佛。左右耳殿，另有东西配殿各三间，南阁一间。其中最有特色的两处是北洞的“五层楼”和“三间阁”。
五层楼建在石缝外端，依崖开凿卯洞，梁架结构与崖石交接构筑，建造精巧。阁内设有铁索，扶铁索可攀援而上。三间阁在五层楼东边，又叫九仙女阁，塑九仙女像。箭阁外塑赵杲泥像，头顶距石崖仅二指半，故旧称“赵杲观，离天二指半”。
赵杲观最险峻的景观“仙阁登云”建在峭峰高处，半山腰中，共三层。一眼望去，高阁悬空，上峭崖，下绝壁，左右山石如刀削。上下左右根本无路可通。山洞中垂下一条长约20米的铁索，成了进洞的唯一途径。这铁索被誉为“仙阁云梯”。
赵杲观的另—部分在山南半壁间，亦为天然石窟，石窟内有“自在庵”，塑有观音及十八罗汉像。洞内保存有明代观音救八难石刻画像18块，弥足珍贵。
