衡阳市体育局为衡阳市人民政府管理体育工作的职能部门，下辖1个副处级事业单位，即：衡阳市体育运动学校（衡阳市第十九中学），7个正科级事业单位，即：衡阳市体育馆、衡阳市游泳跳水中心、衡阳市体育科研辅导站、衡阳市体育接待站、衡阳市体育用品服务中心、衡阳市体育彩票发行管理中心、衡阳市全民健身中心。现有干部职工251人。