皖南事变后，根据中共中央东南局指示，黄山地区组建了以胡明（后为国家纺织工业部副部长）为书记的中共皖南山地中心县委，领导黄山周边人民与国民党反动派进行了艰苦卓绝的武装斗争。1941年4月，在皖南事变中突围出来的刘奎（后为安徽省军区副司令员）、李健春（1945年率部攻打黟县西虹乡公所时牺牲）等新四军军事干部，组织了黄山游击队，刘奎为队长、李健春为指导员。抗战胜利后，以山地、沿江两个中心县委为基础，组成中共皖南地委，原所属各中心县委游击队称中共皖南游击队，建制不变，活动区域根据斗争形势作了相应能调整。