文昌庙原建于城南门外，嘉庆三年（1798年）移于今址。坐西朝东，为双重檐歇山顶无斗拱砖木结构建筑，东西长25米，南北宽15米，占地375平方米。文昌庙后为奎星楼遗址，文昌庙下为城隍庙，共同组成了占地1.3万平方米的古建筑群保护区。