白居易生活的時代，是唐中後期，藩鎮割據，雖然暫時處於平靜狀態，但是，暗流湧動，更大的風暴即將到來。
811年，白居易母親去世，年五十七，白居易回到老家渭北下邽丁憂，守孝三年。
814年，丁憂結束，白居易回到長安，任太子官署的官員。
唐憲宗並不喜歡他，加之以前他任言官得罪了一些人，這些人對他群起而攻之，於是，816年，白居易被踢出京城核心圈子，被貶到江州，今江西省九江市，任江州司馬。這一年，白居易四十四歲。
雖然是被貶，但是，一州的司馬，權力不小，俸祿還是不錯的，因此，一時之間，白氏的親屬們，紛紛投奔白居易，江州一時之間，竟成了白氏家族匯聚之地。
首先，他的大哥白幼文，原為浮梁縣（今江西省景德鎮浮梁縣）主簿，已經罷官，在故居符離縣（今安徽省宿州市符離集）居住，賦閒，這一年已經六十餘歲，帶著兒子，前來投奔，希望白居易能提攜自己兒子，以後兒子能有個好前程。
白居易在其他各地的孤幼堂弟姐妹侄子六七人，也紛紛前來投奔。
白居易給京城朋友寫信《答戶部崔侍郎書》，信中寫道：「前月中，長兄從宿州來，有孤幼弟侄六七人皆自遠至。日有糲食，歲有粗衣。饑寒獲同，骨肉相保。」
817年，長兄白幼文去世，歸葬老家關中渭北下邽。
818年，弟白行簡，離開東川幕府，也來投奔白居易。
此時，全家只有白居易為官，有俸祿，因此，家族人等，紛紛來投，好在唐帝國實行厚祿政策，官員待遇還算不錯，因此，白居易養活這一大家子，還是沒問題的。在農業社會，官員的俸祿，還是管用，最起碼餓不著。
一日晚間，白居易送朋友離開江州，到了江邊，下了馬，上了船，正在飲酒敘談送別，忽聞江上傳來一陣琵琶聲，頗為動聽，頓時，白居易忘了回去，朋友也忘了出發，他們以為是一般的歌女，一時興起，便把船划過去，靠近琵琶聲響那條船，詢問是誰彈得如此一手好琵琶，並且，添酒回燈重開宴，那彈琵琶者，千呼萬喚始出來，原來是一位半老徐娘。
她施展了高超的技巧，「大弦嘈嘈如急雨，小弦切切如私語。嘈嘈切切錯雜彈，大珠小珠落玉盤。」
彈罷之後，雙方交談，原來雙方都是來自京城長安的，他鄉遇故知，頓時倍感親切，琵琶女放下了心防，開始暢談心聲，她是京城長安人氏，家在蝦蟆陵下住，此地現在還在，就在今西安和平門外一帶。
她十三歲時，琵琶已經學成，並且才華出眾，非常出色，名列教坊第一部，名聲大噪，五陵年少爭相捧場，每次演罷一場，捧場的綢緞不計其數。
五陵，來源於西漢，那時，皇帝去世，則圍繞其陵墓，遷去權貴富豪之家，加以拱衛陪伴，建成大城，西漢有五座大城最為著名，規模皆與長安城相當，稱為五陵。
五陵是長安一帶的富人區，五陵年少，就是官二代、官宦子弟的意思。
唐末五代之後，關中破敗，滄海桑田，因此，明唐伯虎有詩云：不見五陵豪傑墓，無花無酒鋤作田。
琵琶女年齡大了之後，行情轉差，門前冷落鞍馬稀，只得老大嫁做商人婦，但是，商人重利輕別離，拋下她，去浮梁縣做茶葉生意去了，琵琶女頗感惆悵，於是，夜晚在江上彈琵琶，抒發傷感之情。
白居易將此次經歷，寫成《琵琶行》，成為千古名篇。
白居易在詩中特別寫道，「商人重利輕別離，前月浮梁買茶去」。特意提出浮梁，自然是因大哥白幼文曾在浮梁縣做官，景德鎮與九江相距不遠，白居易想起去世的大哥，又多了一份惆悵。
琵琶女最後說道，「去來江口守空船，繞船月明江水寒。夜深忽夢少年事，夢啼妝淚紅闌幹」。
激越的琵琶聲迴蕩江上，白居易已經心有所動，又聽了同來自京城長安的琵琶女的遭遇，不由得寫出「同是天涯淪落人，相逢何必曾相識」的千古名句。
琵琶女的彈奏，道盡人間蒼涼，感動了在座所有的人，其中，白居易最為感動，「座中泣下誰最多？江州司馬青衫溼。」
周秦漢唐，中國的中心在北方，包括經濟，唐末五代大亂之後，經濟重心才轉移到南方，因此，唐時關中，為天下最為富庶繁華之地，而江州當時則是偏遠落後的荒涼之地，並且還是文化沙漠，因此，白居易寫道，「潯陽地僻無音樂，終歲不聞絲竹聲。住近湓江地低溼，黃蘆苦竹繞宅生。其間旦暮聞何物？杜鵑啼血猿哀鳴。豈無山歌與村笛？嘔啞嘲哳難為聽。」
聽到來自京城的琵琶女的樂聲，白居易大為感動，「今夜聞君琵琶語，如聽仙樂耳暫明。」
白居易是感情豐富之人，如此觸動靈魂的一次經歷，促使白居易寫成了《琵琶行》，成為千古名篇，白居易去世後，唐宣宗寫詩稱讚他，特別指出，「童子解吟《長恨》曲，胡兒能唱《琵琶》篇。」
白居易回到京城後，一路順遂，做到尚書高官，不過，一直伴隨他的病痛，以及官場風雲，令他看破紅塵，最終，白居易皈依佛門，一心只求往生兜率淨土，他離世時，不歸下邽祖墳，而是葬於他的佛門師父僧如滿之側，「永離生死流，終成無上道。」 白居易終於求得了終極的情感歸宿。