衡陽市處于湖南省凹形面的軸帶部分。周圍環繞著古老宕層形成的斷續環帶的嶺脊山地,內鑲大面積白堊系和下第三系紅層的紅色丘陵臺地,構成典型的盆地形勢。衡陽盆地南高北低。盆地南面地勢較高,1000米以上的山中東西連綿數十公里;盆地北面相對偏低,衡山山脈雖較高,但各峰呈峰林狀屹立于中間,其東西兩側都有較低的向北通道,其東側的湘江河谷兩岸海拔高度均在100米以下。整個地形由西南向東北復合傾斜,而盆地由四周向中部降低,呈現1000米,800-700米、400-300米、150米四級夷為平面。四周山丘圍繞,中部平崗丘交錯。東部為羅霄山余脈天光山、四方山、園明坳;南部為南嶺余脈塔山、大義山、天門仙、景峰坳;西部為越城嶺的延伸熊羆嶺、四明山、騰云嶺;西北部、北部為大云山、九峰山和南岳衡山。整個地形比降為7.9‰。南部山峰大多海拔600米以上,常寧天堂山最高,海拔1265米。西部山峰多海拔500米以上,祁東騰云嶺最高,海拔1044米。東北部除南岳衡山外,一般地面高程在海拔300米-500米。市境最高點為衡山祝融峰,根據國家最新的測量數據,海拔1300.2米;最低點為衡東的彭陂港,海拔僅39.2米。