飞山庙始建于宋元丰六年（1083）年，又名威远侯庙，已有920余年历史，是纪念五代时期少数民族首领杨再思的庙宇。该庙坐西朝东，东西长72.5米，南北宽24.5米，总面积1776.25平方米。四周砖墙维护，中轴线上可分四进，第一进为山门、第二进为过厅、第三进为正殿、第四进为后殿。主体为小青瓦屋面的木结构建筑，采用抬梁与穿斗式相结合的梁架结构，檐下以如意斗拱为主。山门、正殿为单檐歇山顶，过厅为硬山顶，地面为素土夯筑，灰土打筑及石板铺垫而成，柱下均垫以石础。正殿是全殿之冠，殿高8.3米，内外28根木柱支撑。屋架为七架梁，月梁规整，各梁、枋与柱之间榫卯相接紧密，梁、枋雕花精致细腻，具有浓厚的民族特色。整座殿宇庄严肃静，气势雄浑，基本保留了宋代建筑的特点，因后经历代维修扩建，亦杂有明、清建筑之风格，具有较高的历史价值和艺术价值。

1983、1987、1995年，县人民政府三次公布飞山庙为县级文物保护单位，1996年，省人民政府公布飞山庙为省级文物保护单位。