衡阳市博物馆成立于1973年，其前身为衡阳市展览馆，馆舍面积狭小，房屋陈旧破烂。1992年，在衡阳市政府和社会各界关心支持下，衡阳市博物馆搬迁到风景如画的西湖公园对面。这里树木茂盛、环境优美，馆舍分办公大楼（含文物库房）和展览大厅两栋，办公大楼为六层砖混结构；展览大厅为二层四合院砖混结构，建筑具有典型的湘南民居建筑特点，琉璃碧瓦，封风山墙，古朴而典雅。