秦漢以來，尤其到唐宋，廣西就是流人遷客主要的貶謫發配之地，或許正因為如此，「瘴毒魑魅」之類異聞奇事成就了千餘年來「傳說中的廣西」。
東漢初年，伏波將軍馬援率大軍南徵，走的是湘江一靈渠一桂江一西江一北流河一南流江一合浦這條「主幹道」。這場長達三年的軍事行動，為這條古道上留下了許多跟馬援有關的地名，比如北流市的「歇馬嶺」，博白縣的「飲馬江」，玉林市的「石柱坡」，南流江上遊的馬灘」等等。不過，馬援此行可能倒是讓另一個地名「威震」中國——那就是「鬼門關」。
據清代汪森所輯《粵西文載》記載：「鬼門關在（博白）縣西十裡，兩山相對，間闊三十步。馬援討林邑，蠻路由於此。立碑、石龜尚存。往來交趾，皆由此關。」歷史上曾有兩處「鬼門關」，位於玉林市東面的北流「鬼門關」，1429年改稱「天門關」，如今高速公路貫通，原貌不存。而玉林市西面的博白縣「鬼門關」，早在1371年改稱桂門關」，「鬼」已無跡可尋。
有意思的是，許多貶謫嶺南的文人墨客但凡見到這三個字，去國懷鄉前途渺然之感便油然而生。初唐大詩人沈佺期從京師洛陽被貶往驩州（今廣西崇左縣），途經鬼門關，寫下一首《入鬼門關》，詩中有這樣的句子：「昔傳療江路，今到鬼門關。土地無人老，流移幾客還。」
不過，流傳最廣的鬼門關詩作是楊炎的《流崖州至鬼門關作》：「去一萬裡，千之千不還。崖州何處在，生度鬼門關。」此詩在《崖州志》裡被記為唐代被貶到崖州（海南島）的宰相李德裕所作，甚至還有人說是蘇東坡被貶崖州時寫的。後經郭沫若等人考證認為，早李德裕67年被貶崖州的唐代著名理財家楊炎才是這首詩的作者。不過，生度鬼門關的楊炎還沒赴任崖州司馬，就在途中被賜死。
對於歷代流寓廣西的官宦遷客而言，貶謫是懲罰，也是以觀後效。總之，作為啟蒙化育、傳播主流文化和價值觀的士大夫群體，他們在廣西的許多故事，被傳誦至今。
1500多年前的南北朝時期，著名文學家顏延之貶謫桂林，任始安郡太守。也許因為他是一位大文人的緣故，顏太守在桂林獨秀峰下讀書的故事，便流傳了下來。但是顏延之最值得廣西人稱道的，還是首開了文化風尚。
廣西文學評論家黃偉林認為有三種影響應該算在顏太守身上：一是讓廣西人領會了自然山水獨具的審美價值，獨立於城中的獨秀峰，便是因顏氏名句「未若獨秀者，峨峨郛邑間」得名；二是給廣西帶來了崇尚讀書的好風氣，自桂林獨秀峰下有「顏公讀書巖」後，歷代在陽朔、永福、興安、全州縣都有「某某讀書巖」傳世；其三，是顏延之讓廣西見識了其清正廉潔的人格魅力。
唐宋以來，廣西便是朝廷貶謫官員文士的主要目的地。如果簡單開出一張單子，把這段時期流寓廣西的名人排列一下，人們也許要對廣西「刮目相看」。
這裡所列只是唐宋兩朝某些時期，相對密集地出現在廣西的有名人物。他們任職於廣西各地，革除舊弊，啟迪蒙昧，吟詩作文，記述見聞，形成了獨具廣西特色的貶謫文化。
據廣西師範學院楊東甫研究員統計，唐代謫桂官員約30餘人，宋代為40餘人。這些僅僅是正史和筆記野史所載者，更多人物和他們的事跡已無法查考。