牡丹江流域的历史比较悠久，从商周到隋朝的二千三百多年间，这里是满族的祖先肃慎、挹娄、勿吉等部族的居住地，均与中原保持密切的联系。唐代，公元671年至926年间，粟末靺鞨（原靺鞨的一部）在牡丹江流域兴起，建立了渤海国，首府上京龙泉府设在现宁安县渤海镇境内，国王被唐王朝岫封为渤海郡王。宋代，女贞族（黑水靺鞨后裔）在阿城县建立了金国，这里是金的一个路--努尔哈路。元代，这里设置了军民万户府。明代，永乐年间在黑龙江下游设立了努尔干都指挥使司，辖一百七十九卫，牡丹江流域大部分是其下辖的毛怜卫所属地。后来女贞族后裔努尔哈赤从牡丹江流域一代兴起，统一了东北，进关建立了清帝国。清代，这里先后是宁古塔将军和吉林将军的管辖地。 当时，牡丹江沿岸"汉旗杂，已无旷土"，但由于清王朝以 "祖宗发祥之圣地"实行禁垦政策，沿岸以外的大部分地方 还没有开发。

　　1931年"九.一八"事变后，牡丹江市各族人民英勇地抗击了日本帝国主义的侵略。东北抗日联军在牡丹江区域内的镜泊湖畔、牡丹江沿岸以及广大的深山老林，同日寇进行了艰苦卓绝的斗争，涌现出许多 可歌可泣的革命业绩。 牡丹江市是全国最早解放的城市之一。解放后，牡丹江市 的行政区划和隶属关系曾发生多次变化。1946年成立了绥宁省，后改牡丹江省，省会设在牡丹江市。1948年10月并入松江省。1954年松江省和黑龙江省合并，归黑龙江省，并于1956年2月设立了牡丹江专员公署。1968年在"文革"中市合并，成立了牡丹江地区"革命委员会"。1973年地市分设。1983年10月根据国务院决定，地市再次合并，撤销地区行政公署。