早在6000年前的新石器晚期，庐山麓便有人类活动。上古大禹治水，就曾到过庐山。春秋时，老子也游览了庐山。秦始皇、汉武帝也曾先后“浮江而下”登临。此后，历代的高士不断来到庐山，庐山逐渐成了隐逸之士竖立忤世高标的理想家园。

东晋政治、经济、文化重心南移之际，及舟楫之便的庐山，便成了文人墨客、僧侣道徒趋之若鹜之所。王羲之舍庐山之宅为寺，著名高僧慧远建东林寺，此后的1600余年中庐山先后出现寺庙近700座；著名道人陆修静在庐山兴建崇虚馆后，庐山出现著名道观便有18座之多，有的规模甚大，太平宫盛时道徒达3000之众；“薪传一代宗”的白鹿洞书院，自南唐建学至清代，一千多年来长盛不衰，四方学子闻风而聚，生徒多时达五百余人；清末，外国传教士登上庐山，占地建房，曾有17个国家传教士、商人2840人（1931年统计）在庐山居住，建造别墅，1905年别墅达147幢之多，至1927年已达712幢；民国年间，庐山一度成为国民政府“夏都”，国民党达官贵人云集，蒋介石在庐山创办军官训练团，仅1933年在庐山受训军官达7598人；1937年7月，蒋介石在庐山召开“庐山谈话会”，与会者为各界名流160余人；1939年4月，日寇侵占庐山，杀戮百姓达2971人；1945年8月，日寇无条件投降，1946年蒋介石又上庐山，“美庐”成为他的“行辕”，召集国民党军政要人，策划内战；1949年5月，庐山获得了解放，劳动人民大力建设庐山，仅1953年便调了2000民工上山植树造林，美化庐山，使之成为各条战线上的劳动模范疗（休）养之地；1959年、1960年、1970年中共中央在庐山召开了三次影响深远的会议；1996年，联合国教科文组织世界遗产委员会第20届会议，批准庐山以“世界文化景观”列入《世界遗产名录》，庐山成为国内外著名的旅游胜地。