一直以來，大家提起餘文樂，總不過是三點：顏值、緋聞、潮牌。對外公開承認過的女友也就只有初戀唐詩詠（左）和盧巧音（右），所以他情感生活一直是狗仔們熱衷的話題之一，也少不了緋聞漫天飛。
02年，餘文樂與阿嬌拍攝電影《一碌蔗》時，其中有一段吻戲，結果兩個人拍著拍著竟然吻出了感情，一吻定情。
而此時的阿嬌正與陳冠希進行著地下戀情，餘文樂與阿嬌這一段緋聞自然讓冠希哥十分不爽。
為此有港媒報導過，冠希哥與餘文樂在後臺打架事件，並直指事因就是阿嬌。
03年，黃伊汶和被爆和餘文樂在一起，隨後"餘汶戀"傳了五年，兩人雖然一直否認拍拖，卻不時被傳媒撞破戀情。
五年的 "餘汶戀"最後宣告結束後，被港媒踢爆因為餘文樂花心，黃伊汶受不了便結束了五年的長跑。
即使結束了戀情，餘文樂還被扒其五度求複合。
08年，同一時間段內餘文樂同期被爆不僅與嫩模王璐瑤在一起，還與妝點模特顏後君Ceci在一起。
最後兩個模特與餘文樂感情何去何從也沒有人去追問了，但是肯定的一點就是反正兩人都沒上位成功。
11年，他與何韻詩相識，兩人的緋聞開始暗湧。
何韻詩一直與餘文樂的關係非同一般，從兩人鬧緋聞開始，兩人便毫不避嫌的互稱對方為男女朋友。
大家差點要信以為真的時候，又爆出何韻詩疑似les，港媒抓拍到何韻詩街頭直接擁吻鄧九雲。這波緋聞玩的是非常6！
13年餘文樂在拍攝其MV《人非草木》時相識吳雨霏，雖然港媒經常拍到兩人親密出行的合照，但對於戀情一直咬死不承認。
分手後大家紛紛猜測其分手原因，後來餘文樂自爆當時說心裡有個人為藉口分手，實際只是想拍散拖不負責。