庐山从两汉、三国、吴、晋直至南朝，皆隶属柴桑县。隋时隶属湓城县。唐代隶属浔阳县。五代杨吴，始以庐山之南为“星子镇”，隶属江州德化县。宋太平兴国三年（公元978年），升星子镇为县。太平兴国七年，以江州星子县南康军，庐山便一分为二：吴障山北隶属德化县，吴障山南隶属星子县，因而庐山由九江德化、南康二境管辖，一直至元、明、清三代无变化。民国初年，废府制，德化县改为九江县，星子县名依旧，庐山之分隶无改变。

1886年冬，外国传教士上山占地，立石划界，建造别墅，设立“牯岭公事房”、“市政会议”，设置巡警。

20世纪初，庐山设立了隶属九江的“警察分所”。1922年，改警察分所为“警察专署”。1926年，成立“庐山管理局”，隶属九江市政府，1930年，江西省政府议决，庐山管理局直属江西省政府。

1949年5月，成立“庐山军事管制委员会”及“江西省庐山管理处”。1950年改称“江西省人民政府庐山管理局”。1953年7月改称“江西省庐山特别区人民政府”，后移交中南行政委员会，又改称“中南行政委员会庐山管理局”；1954年12月，复名“江西省人民政府庐山管理局”，1955年2月，改称“江西省庐山管理局”；1968年5月，成立“庐山革命委员会”，隶属九江地区；1968年11月，庐山行政区划缩小，改为“庐山镇”，1969年11月，恢复“庐山革命委员会”，隶属九江地区；1977年1月，恢复“江西省庐山管理局”，1980年5月，改称“九江市庐山区”，1984年5月，成立“江西省庐山风景名胜区管理局”，一直至今。