「廬山到處是浮屠，若問凡家半個無」，說的是廬山佛教勢力的強大。東晉時慧遠大師在這裡開創了東林寺，建立了淨土宗，肇始佛教中國化和中國佛教化的進程。作為當時南方的佛教領袖，東林寺成為了一個與北方長安並肩的佛教和學術中心。名人名流會集廬山，最為突出的有慧遠、慧永、張野、雷次宗、宗炳和劉續之等十八高賢，他們都是學識水平極高的人物，成就了廬山文化史上的輝煌時代。廬山寺院密集，多達四百餘座，有「五百蜂房綴蜜脾」之說。
胡適在1928年來廬山說：「慧遠的東林，代表中國＇佛教化』與佛教「中國化」的大勢………」
東西二林都建立在東晉時期，是廬山北部建立最早，也是最主要的兩座寺院。
廬山佛學和佛教活動的主要任務是慧遠。慧遠本姓賈，雁門(山西省代縣)樓煩人。公元334年生，從幼好學，熟讀儒家經典，精通老莊。名僧道安的徒弟。慧遠將儒、道、佛三家經典溶於一爐，而以佛為主。他走的是一條佛教中國化的道路。
公元365年(晉哀帝興宇三年)，由於北方戰亂，慧遠、慧持隨道安來到襄陽。公元377年，前秦兵從北方南下，苻丕佔據襄陽。隨後道安卻被苻丕帶回長安。慧遠等南下到荊州，與師兄慧永約定，一道去羅浮山修行。慧永在前往羅浮山途中，先期到達廬山。公元367年，江州刺史陶範為慧永在聲山西北麓的香爐峰下建造西林寺，公元381年，慧遠踐師兄約，來到九江，欲與慧永師兄一同前往羅浮山。登上了廬山，可能是廬山幽雅清靜吸引了他，就在西林寺旁築了一座龍泉精舍，從此三十多年，不再離去，專心在廬山修行。慧遠在山中講堂弘法，創立了淨土宗。
慧遠淨土宗修行方式簡單，只要心中念佛便可以了，首先在上層社會中流傳，後經北朝縣鸞發揮，提出稱名念佛，就是口稱「南無阿彌陀佛」，就可以往生彼岸世界。因此吸引了眾多佛教徒，得到廣泛傳播。淨土宗具有平民性，成為中國佛教重要門派，還廣傳海外日本等地，東林寺作為淨土宗的祖庭，每年朝拜的人絡繹不絕。
慧遠宣揚「神不滅」論，寫下了有名的《神不滅論》、《佛影銘》和《沙門不敬王者論》，在宗教界產生了極大影響，成為東晉佛教界的領袖人物。他發明了蓮花漏，「於水上立十二葉芙蓉，因波隨轉，分定晝夜」。
慧遠的人格魅力、強大的文化感召力，以及他在廬山東林寺的業績，影響了一批名流釋子，如劉遺民、周續之、張野、宗炳等，他們都是才高德望的人。張野有(廬山記)，還有文集十卷。劉程之遺民著有《廬山精舍》一卷，還有文集九卷。雷次宗著有文集三十卷、《豫章志》、《十八高賢傳》等著作。宗炳，山水畫家，著有《明佛論》等，
十八高賢絕大多數是慧遠的弟子，都有很深的佛學造詣，為白蓮社中的傑出代表。他們雲集在慧遠周圍，勤修苦行，行道不絕，造就了廬山綿延的禪風，「釋迦餘化，於斯復興」，並最終形成了一個以慧遠為核心的，與北方羅什曾團相呼應的龐大的廬山僧團。這個強大的僧團將廬山推上了南方佛教中心地位而被頂禮膜拜。清代文人潘未說道：「城中之山，自五嶽外，匡廬最著名。……東林寺於山最古，慧遠於僧最高。東晉以前無言廬山者，自蓮社盛開，高賢勝疏，時時萃止。廬山之勝，始聞天下。」
由於西林寺比較窄小，龍泉精舍也很簡陋。公元386年，慧永請江州刺史桓伊為慧遠另建座寺院。新寺建在西林寺東，因而命名為東林寺。名剎名僧，相輔相成，東西二林，從此名揚宇內。
此後，慧遠就一直以東林寺為中心，開展他的佛教和佛學活動。東林寺選擇的位置和地勢很好，「正對香爐峰。峰分一枝東行，自北而西，環合四抱，有如城廓，東林在其中，相地者謂之倒掛龍格。」「寺南面廬山，北倚東林山，山不甚高，為廬之外廓，中有大溪，自南而西，驛路界其間，為九江至建昌(今永修縣)孔道，寺前臨溪，入門為虎溪橋」。這是宋代詩人陸遊和明代旅行家徐霞客在當時的描述。
東晉南朝時期佛教寺廟為數不多，名寺更少。據清代劉世珩《南朝寺考》稱僅30餘所，而建立山林中的寺廟更是微乎其微，唯獨廬山的寺廟如雨後春筍破土而出，香火繚繞，禪音不絕。
廬山很早就是道教徒們修煉和生活的場所，從廬山得名中就可以看出廬山與道教的淵緣。據志書載，匡續隱居廬山，仙去廬存，故稱廬山，亦名匡廬。被道家奉為「天下最勝福地」，被列為道家第八洞天、三十六福地，有「神仙之廬」的美稱。南朝時，南方道教領袖陸修靜在廬山白雲峰下太虛觀修煉講道，卒後故居改為簡寂觀。
陸修靜，(公元406-477年)，字元德，吳興東遷(今浙江吳興)人，其先祖為三國時期吳國丞相陸凱。南朝時宋著名道士，早期道教的重要建設者。陸修靜從大明五年(461)至廬山，到宋明帝泰始三年(467)入朝，在廬山前後七年。他在廬山建立的道觀名太虛觀，去世之後，朝廷追諡他為「簡寂先生」，太虛觀因此易名為簡寂觀。陸修靜去世後，簡寂觀依然非常興盛，道士最多時有五六百人。唐宋時期，簡寂觀出現了許多高道，文人學士的歌詠也很多。南宋之時，簡寂觀毀於兵火，後來雖有修葺，但趨於衰敗，朱熹云：「於今知幾載，故宇日荒廢。空餘醮壇石，香火難復燃。」清朝時，人們已多半不知簡寂觀方位所在。
廬山聖治峰下的蛇岡嶺有一神異色彩的道觀太平宮，位於今九江濂溪區賽陽鎮蛇頭岡嶺南面。眾山環繞，中豁廣原，別有洞天。宮北對老君崖，面對株嶺，西為105國道。是道教著名宮觀，被譽為「真神仙之窟宅」。太平官建於唐開元十九年(731)，為唐明皇敕建九天使者真君廟。宋代達到全盛時期。唐宋時的太平宮，恢宏華麗，帝王封勅，有殿九重，正殿採訪使者殿，後太上本君殿，兩廊使者像和五百靈官壁畫，後為無心堂。太平宮「崇軒華構，彌山架壑，舊有殿九重，兩旁房屋數百幢，廢而又新，其所摩費不可紀，其田多散在旁縣，凡三十六區，其侈盛無加矣」。
宋代又新創鐘樓，高大氣勢不凡，樓名景陽，華麗殊甚。名臣寄祿，羽士雲集。此外，還有劉混成的白鶴觀、皇甫坦的清虛庵等，都是有名的道場，四方朝拜，文人題留，盛極一時，道教名流董奉、吳猛、吳、呂巖、白玉蟾等都曾棲隱廬山，弘道著述。
南唐日「通玄府」，宋太平興國二年初賜觀額，景德二年(1005)重修，元豐三年(1080)進號為「應元保運真君」，並錫御書殿榜，泥金仙衣。宋朝熙寧間，置祠以寓祿，稱為「提點太平官」、「管勾太平官」。為朝廷優老待賢之地，許多當朝官員都曾提點過太平官。元代「修殿七間融古高大，以桐真君」。太平宮莊田從原來三千畝增至一萬商。元朝壬辰年間，遭兵毀，傾圮殆盡。明代洪武二年(1309)，道士梅高復建，但規模已不如以前，字僅為三重，房屋十三間，內有鐘鼓樓二座，還有大鐵鍋、璇現玉等物，用來煉丹和窺測星辰。璇現玉額今尚在，存於廬山博物館，明嘉靖中郡守鍾卿送祀許真君像於太平宮，由是江南江北無遠近，都到大平宮進香，太平宮香火漸濃，宮道聚富，殿宇興修，曾有三扁：羅洪先「歐真第八洞天」、田汝麟「敕建太平興國宮」、陳洪濛「太平官」清朝漸衰，但規制猶在，成豐四年遭兵毀，後鄉人在此重建真君殿，土改時被拆除。