山南是西藏古文明的发祥地之一，传说当中神猴同罗刹女结合而诞出藏民之地，历史悠久，文化灿烂。大约在四、五万年以前，雅砻一带就有藏族先民繁衍生息。先民们在鸟兽群集、果木丛生的雅砻河谷过着以树叶为衣、野果为食的群居采集生活。经过漫长岁月，逐渐学会了制作弓箭、石器等工具，学会了饲养牦牛等动物和种植青稞等作物。今泽当镇附近萨热村的一块土地“索当”，是传说中西藏的第一块农田。

1959年4月6日，成立山南军事管制委员会，对山南地区实行军事管制，领导山南的平叛改革工作，同时宣布解散山南基巧办事处及各宗（谿）政府。5月，经中共西藏工委批准，将山南行政区划为12个县，62个区，293个乡。12月22日，成立山南专员公署。

2016年2月，国务院批复同意撤销山南地区和乃东县，设立地级山南市；山南市设立乃东区，以原乃东县的行政区域为乃东区的行政区域。