祠堂由大门、戏台、过亭、廊房、正厅、厢房组成,是典型的四合院建筑,占地770平方米。戏台为单檐歇山顶,穿斗式结构,高16米,面阔7米,进深8米;檐下如玉斗拱,台柱雕龙刻凤。正殿为抬梁式建筑,山墙为猫背拱,分为一明二暗三间。两边配有厢房。
杨家祠堂设计精巧,做工精细。窗户、门、檐饰件均糸镂空雕花,整体建筑具有鲜明的民族特色和很高的建筑艺术价值。