「盜」是清初一大社會間題。在黃州府岐亭鎮一帶，盜賊甚至白晝劫路傷命，嚴重影響了地方安定和居民正常生活。于成龍上任之初，即以郡垂身份坐鎮岐亭治盜。為了摸清盜情和每一件重大盜案，他總是親自訪察。他多以「微行」的方式，扮作田夫，旅客或乞丐，到村落、田野調查疑情，從而對當地盜情了如指掌。于成龍在破案、察盜方面的許多事跡，在清人野史、筆記和民間文藝中均得到反映，甚至神化。由於在黃州府同知任上的突出政績，于成龍又深為湖廣巡撫張朝珍的器重，再次被舉「卓異」。于成龍被舉「卓異」後，被調主持武昌府政務，並將握武昌知府。恰在這時，「三落之亂」爆發了。在吳三桂凌厲的攻勢下，貴州、湖南望風披靡。同時吳三桂派許多湖北籍部將，持封官「札書」回籍策反，製造暴亂。康熙十三年五月，麻城縣發現「偽札」，知縣即以「通賊」罪名大肆濫捕，搞得人人自危。接受了「副將偽札」的該縣曹家河人劉君孚父子乘機聯絡東山一帶山民發動暴亂。由于于成龍在當地很有影響，所以被請出來收拾局面。他以「招撫」為方針，查清事件原委後，發出安民告示，使絕大多數脅從百姓歸家，事態很快趨於緩和。
隨後，他又冒生命危險隻身進人首先發難的劉君孚山寨中說服劉及300槍手(獵戶)。10天之內，一場動亂順利平息。八月，于成龍調任黃州知府，第二次暴亂又接踵而至。在于成龍的指揮下，尤其是他身先士卒，危急關頭置生死於度外，當場擒獲暴亂首領何士榮。後又乘勝平定了其餘叛亂。二十餘天內兩次平定「東山之亂」。受到湖廣總督蔡毓榮的高度褒獎。四年後，于成龍升湖廣下江陸道道員，駐地湖北新州(今新春縣)，在湖北期間，無論地位和環境都有很大改善，但他仍保持了異於常人的艱苦的生活作風。在災荒年月，他以糠代糧，把節餘口糧、薪律救濟災民。因之百姓在歌謠中唱道:「要得清廉分數足，唯學於公食糠粥。」康熙十七年，于成龍升福建按察使離湖北時，依然一捆行囊，兩袖清風，沿途以蘿蔔為乾糧。
于成龍在福建上任伊始，就做了一件為民稱頌的好事。當時清廷為對付臺灣鄭氏的抗清勢力，實行了「海禁」政策。當地統治者不顧連年兵禍，民不聊生，動輒以「通海」罪名興起大獄，使許多沿海漁民催難。于成龍在審閱案卷時，發現每案被擬極刑的就達數十人或上百人之多，甚至殃及婦女孺子。於是他堅決主張重審，對怕得罪清室而勸阻他的人說:「皇天在上，人命至重，吾誓不能鹹阿從事!」在他的力爭和主持下，先後使千餘名百姓免遭屠戮而獲釋，貧困不能歸者還發給路費。康熙十八年夏，于成龍在按察使任上第三次被舉「卓異」後升任省布政使。福建巡撫吳光柞還專疏向朝廷舉薦，稱于成龍為「閩省廉能第一」，從此，于成龍得到清廷的賞識和破格錄用。康熙十九年春，康熙帝「特簡」于成龍為徽輔直隸巡撫，翌年春，又召見于成龍於紫禁城，當面褒讚他為「今時清官第一」，並「制詩一章」表賜白銀、御馬以「嘉其廉能」。康熙十九年，于成龍升任直隸巡撫。官場中有句老話:京官難當。京徽之地，八旗豪強橫行不法，有法不能治。康熙特意將于成龍放在這個位置上。在任上，于成龍支持清官廉吏，打擊貪官汙吏，八旗豪強見勢不妙也不得不收斂。于成龍把直隸治理得井井有條，很受康熙的賞識。第二年，康熙在故宮親自召見他，表彰他是「今世清官第一」，賞賜白金、良馬、御製詩等，以此嘉獎他的廉能。
康熙二十年，于成龍升任兩江總督，成為主管江蘇、安徽和江西三省的大員。上任時，久聞于成龍大名的當地文武官員全部早早地到南京城外迎候，場面非常壯觀。可是，眾人一直等到天黑也未見這位新總督的影子，大家紛紛議論是不是把總督到達南京的日期搞錯了，這時，有人跑來報告說，總督大人早已單騎進府啦。百官頓時驚慌失措，急忙回府。原來，于成龍僅僅帶了一個小兒子，僱了一輛騾車，沿路查訪而來。官員們大擺筵席為于成龍接風，于成龍拒不接受，一時讓眾官員覺得十分尷尬，其中有一位按察使是于成龍同科故友的兒子，他連忙出面勸于成龍說:「大人如果過於清廉認真，今後文武官員都不好接近你，容易產生隔閡。我們只不過是藉此機會，為你祝壽罷了。」于成龍笑道:「你們的筵席用不著拿山珍海味，最好是用「魚殼」來為我祝壽。」所謂「魚殼」，並不是指一道名菜，而是江南一個名盜的綽號，于成龍在路上對他的劣跡已有耳聞。當天晚上，于成龍在燈下看書，忽聽梁上有響聲，只見一個男子從梁上躍下，于成龍問:「你是何人?」男子答:「我是「魚殼」。」于成龍摘下帽子放在桌上，說:「我的頭在此，取走吧」。「魚殼」驚慌道:「本來我是來取你的頭的，可是現在我的手好像被什麼東西猛擊一下，已動彈不得，你真是神人。我是個惡貫滿盈的人，還是請你來取我的頭吧。」
「魚殼」這夥地方惡勢力長期與官府相勾結，認為只要使錢，就沒有辦不成的事。他們知道在南京只有于成龍賄賂不得，所以就採用暗殺手段。誰知，惡魔也怕清官，在于成龍面前，平日惡狠的「魚殼」也發提了，只好束手就摘。 大凡官當到兩江總督這個位置，都已是久經宦海的老官僚了，一般都處事圓通，不求有功，但求無過，除了討好皇上、結交權貴，安插私人和子女親屬外，關心的是怎樣聚錢斂財，為自己安排退身之路。而于成龍為官已近三十年，雖然已步人權勢顯赫的地位，卻依然保持著清廉的作風。他上任後便召集部屬訓話，告誡他們必須奉公守法，勤謹辦事。他自己身體力行，常常化裝私訪，了解民情，暗察官吏，以致江南官吏每遇到白髮偉貌者，即互相轉告，無不震懾。作為清朝一品大員的于成龍貌似嚴厲，其實待人非常隨和，沒有官架子。公務時間，他的衙署大門始終敞開著，官吏有事找他，就直接進人他的寢室。他的桌案上左邊放著生薑、豆豉，右邊放著案卷文書，就像農村的教書先生一樣，隨便與人交談。
江南生活比較富裕，許多官員以紙醉金迷為榮。于成龍以總督身份作表率，生活淡泊儉樸至極。因每日食粗糧、青菜，而被江南人稱為「於育菜」。遇上荒年，他即以糠屑雜米為粥，全家人都這麼吃，客人來了也不例外。客人間他:「為什麼要這麼清苦?」他答道:「多留一些米，就可以多娠濟一些饑民。」在他的影響下，江南各地的社會風氣發生了明顯變化。官僚、巨商都脫下續羅綢緞，改穿布衣;高門大戶，將大門樓改築成小門樓;橫行鄉裡的少數惡霸，也都悄悄地避居到外地。
康熙二十三年，在兩江總督崗位上只工作了三年的于成龍病逝於南京的督署中。享年68歲。署中的官員去他家弔唁，看見他的饋物只有慶頭一個破箱，裡面有一套官服、官靴，瓦缸中粗米數解和幾罐鹽豉。眾人無不相哭失聲，就連「平時心憚成龍者，俱感動流涕」。于成龍去世的消息一傳出，許多地方百姓罷市聚哭，家家繪製他的像設案進行奠祭。康熙聞知後嘆息說:「于成龍因在直隸居官甚美，聯特地選他出任江南總督。居官能如于成龍者有幾人?」康熙帝破例親為撰寫碑文，這是對他以卓著的政績和廉潔刻苦一生的表彰。因而康熙帝還稱嘆:「鹹稱居官清正，實天下廉吏第一」。加贈太子太保，予謐「清端」，並御書「高行清粹」為祠額。其事跡之感人，為歷代傳誦;其精神之廣播，為官民楷模。