源芳乡地处休宁县的东南方向，乡政府所在位置的坐标为东经 118°19′，北纬29°36′30″，源芳乡东邻白际乡、北依榆村乡，西同东临溪镇接壤，南面同璜尖乡交界。境内主要高峰为长岭尖海拔1297米，全乡总面积53.33平方千米，其中竹林605.9 公倾，茶园 455公倾，其他林地4915.9公倾，耕地49.46公倾。