前身為焦作市郊區。1990年經國務院批準,原郊區更名為山陽區。因始建于戰國初期的山陽城而得名。
2005年,將修武縣的李萬鄉劃歸山陽區管轄。
2000年,山陽區轄7個街道、3個鄉。根據第五次人口普查數據,全區總人口233639人,其中:東方紅街道 36088人、焦東街道 20858人、百間房街道 9234人、太行街道 19516人、藝新街道 30792人、光亞街道 25494人、定和街道 17598人、百間房鄉 19765人、恩村鄉 32343人、李萬鄉 21951人。
2005年,山陽區鄉鎮區劃調整:撤銷恩村鄉,設立新城街道辦事處,管轄原恩村鄉行政區域,辦事處駐恩村三街;撤銷百間房鄉,設立中星街道辦事處,管轄原百間房鄉行政區域,辦事處駐廟河村;撤銷李萬鄉,設立李萬街道辦事處,管轄原李萬鄉行政區域,辦事處駐神州路。
截至2005年12月31日,山陽區轄10個街道:東方紅街道、焦東街道、百間房街道、藝新街道、定和街道、太行街道、光亞街道、新城街道(新增)、中星街道(新增)、李萬街道(新增)。其中,李萬街道委托高新區管理。