在黃州，于成龍的外號叫「於糠粥」。康熙十年，黃州發生了嚴重的旱災，于成龍一邊開倉賑災，一邊勸諭富豪人家解囊，他更是身先士卒，把僅有的一匹騾子「鬻之市，得十餘兩，施一日而盡」。無米下炊，于成龍就吃起了「糠粥」。什麼是糠粥呢？就是當地窮苦人家在用白米熬稀飯時，會把舂米剩的糠皮炒熟磨碎，撒在稀飯裡充飢。百姓們知道於大人每天以糠粥度日，就給他取了個外號叫「於糠粥」，還編歌謠說：「要得清廉分數足，唯學於公食糠粥。」
于成龍還有一個雅號，叫「於青菜」，得自於兩江總督任上。「兩江」，即江南、江西兩省，範圍包括現在的江蘇、安徽、上海、江西四省市。來到沃野千裡的江南富庶之鄉，于成龍不改初衷，一如既往，「日食粗糲一盂，粥糜一匙，侑以青菜，終年不知肉味」，江南百姓因而親切地稱他作「於青菜」。在他嚴格的約束下，「僕從無從得茗，則日採槐葉啖之，樹為之禿」。
可貴的是，于成龍的廉潔，發自內心，並不是為了譁眾取寵，博取清廉名聲。黃州的饑荒過後，糧食充裕了，他也不再堅持吃糠粥了。有位叫魯晟的人，特地想品嘗一頓糠粥，于成龍招待他的卻是大米乾飯，弄得魯晟遺憾不已，多年之後還耿耿於懷。于成龍曾撰寫了一副對聯說：「山到窮時，現許多峭壁層崖，歡富貴功名，何似林禽野獸；路逢狹處，經無數行雲流水，任磐桓談笑，休辜翠竹蒼松。」對他來說，清廉不僅是一種為政理念，更是一種參透人生的生存信仰。
除了自身一塵不染，于成龍在廉政建設上也不手軟。康熙十九年，于成龍升任直隸巡撫後，頒布了《嚴禁火耗諭》。所謂火耗，是指官府將從民間徵收賦稅所得之細碎銀兩重新熔鑄為銀錠時的損耗。火耗由州縣自行徵收，有的高達正賦的百分之五十，這些錢多用於官吏們「分肥」和饋送上級。此外，他還禁止官員之間饋贈禮品。然而這一年的中秋節，大名縣的知縣偏偏不信這個邪，備了一份「薄禮」，公開寫了手本，送到巡撫衙門，祝巡撫大人中秋快樂。于成龍大為惱火，立刻起草了《嚴禁饋送檄》，給予通報批評，並警告說：「本應題參，姑念初犯，暫從寬宥。」直隸的送禮之風由此收斂。
康熙二十年，康熙特旨授于成龍兩江總督。消息傳來，江南那些歷來習尚奢侈的世家大族都「減輿從，毀丹堊，婚嫁不用音樂」，南京的布價則驟然上漲，「金陵闔城盡換布衣」。于成龍深知「州縣各官厲民積弊，處處皆然，而江南尤甚」，為革除這些不良風氣，他到任後親手制定了《示親民官自省六戒》，提出了勤撫恤、慎刑法、絕賄賂、杜私派、嚴徵收、崇節儉這六條戒律。緊接著，他又頒布了《興利除弊條約》，嚴禁各級官員濫加火耗和私派，嚴禁饋送，禁止向行戶攤派取索，禁止奢靡逸遊等。于成龍還從自己做起，公開聲明：「本部院下車，以清介自持，誓不受屬員一毫之饋送！」
在于成龍的嚴厲整飭之下，江南政風好轉，民生恢復。然而在康熙二十二年，風雲突變，有人上疏參劾他年老昏聵，為下屬所欺矇，多行不法。對此，《清史稿》一針見血地指出：「勢家懼其不利，構蜚語。明珠秉政，尤與忤。」說白了，就是于成龍的新政斷了許多人的財路，損害了以權臣明珠為首的腐敗集團的利益。
康熙皇帝一時難辨真假，迫於眾口鑠金，最終給予于成龍「降級留任」的處分，總督的職務不變，但行政降五級。這件事讓于成龍百感交集，一年中上了兩次請求退休的奏疏，康熙皇帝都沒有批准。皇帝的眷顧讓于成龍感到很欣慰，但他為了大清社稷，也耗盡了所有的精力。康熙二十三年農曆四月十八日凌晨，于成龍在辦公的椅子上「端坐而逝」，享年67歲。他留下的遺物，根據陳廷敬的記載：「床頭敝笥中，唯綈袍一襲、靴帶二事；瓦甕中粗米數斛、鹽豉數器而已。」
康熙皇帝驚聞于成龍的死訊，十分傷感，下詔撤銷給予他的處分，追封為「太子太保」，賜諡號為「清端」。後來康熙第一次南巡，特地考察了已故總督于成龍在任的情況，才知道自己受了矇騙。回朝後，他下詔說：「原任江南江西總督于成龍操守端嚴，始終如一。朕巡幸江南，延訪吏治，博採輿評，鹹稱居官清正，實天下廉吏第一。」
于成龍逝世之時，南京百姓「若喪妣」，痛哭不已，他們自發罷市，「男婦童叟皆入公署」，祭奠這位清廉一生的老總督。許多百姓還在家裡掛上了他的畫像，逢年過節，都要焚香頂禮。多年以後，康熙南巡看到民間不息的懷念，不由感慨寫道：「歷仕甘棠隨地蔭，兩江清節至今傳。」于成龍不僅是官方樹立的典範，更是一個人民認可的好官。