南廓寺庙殿隋唐时已初具规模,清光绪年间将原东禅林院改为杜少陵祠。是以三座牌坊式的大门各为中轴线,组成东、中、西三个大院。中山门内有前后院,前院东、西看楼,后为钟鼓楼,东西禅林院。现西院仍为“禅林院”,东为杜少陵祠,祠内有杜甫及侍童塑像三尊。
后院为三间两进宽阔宏大的天王殿。院内有一株生长2300-2500年的三杈古柏,南向一枝黛色霜皮,干枯如柴,直插云霄,但顶端仍青春焕发,枝叶茂盛。西北向一枝已枯。北向一枝巧架于槐树枝杈上,更神奇的是已劈开的枯干中寄生着一株胸围108公分的黑蛋树(朴树),与老树相依为命。