1644年清軍入關後，阿濟格、吳三桂、多鐸等率軍乘勝追擊農民軍，不久多鐸又攻佔南京，滅掉了弘光政權，佔領江南。至順治七年（1650年），除了雲南、福建等地尚有反清勢力外，全國基本統一。面對廣袤的國土，僅僅依靠滿人去治理顯然是不可能的。當時清初官員的來源主要有四類：滿人、隨滿人入關的漢人官員、前明留任官員和前明取得功名的科舉人士。被康熙帝稱為「天下廉吏第一」的于成龍就是在這一背景下，從前明的貢生一步步成長為從一品的封疆大吏――兩江總督。
于成龍出生於山西永寧，也就是今天的山西呂梁方山。于成龍生於官宦世家，他的高祖於坦曾在明朝官至巡撫。到了于成龍的父親於時煌這一輩，家世逐漸衰落，於時煌只是個從九品的官員。家道雖然中落，但對于成龍的家教依然非常嚴格。
于成龍雖然天資聰慧，但科舉之路卻頗為不順。崇禎十二年（1639）的時候，22歲的于成龍參加鄉試，只考取了個副榜貢生。直到清順治八年（1651），35歲的于成龍還是沒有在鄉試中考中正榜。後來由于于成龍的長兄於化龍早逝，父親於時煌年老體弱需要人照顧，于成龍受家庭所累，也就沒再參加鄉試。
于成龍的父親於時煌去世後，于成龍於順治十八年（1661）以貢生的身份參加了官員選拔考試，最終被任命為羅城知縣。這雖然只是一個正七品的職位，但年已四十四歲的于成龍終於踏入仕途。
得知于成龍的這一任命時，他的家人和朋友都反對他前去就任。因為羅城地處偏遠，瘴瘟盛行，民風彪悍。可是于成龍不顧親友的勸阻，別妻離子，背負行囊，踏上行程。
到達羅城後，環境的艱苦超出于成龍的想像。縣衙只是幾間破敗的草房，于成龍平時只得居住在關帝廟裡。其中于成龍的一個隨從身染瘴氣而亡，其他隨從也心有餘悸，紛紛離于成龍而去。
既來之，則安之。于成龍迎難而上，立志改變羅城面貌。于成龍紮根羅城，在羅城做了七年的知縣。七年來，羅城在于成龍的治理下，社會秩序井然，民生大為改善，羅城成為廣西的模範縣。
于成龍的頂頭上司廣西巡撫金光祖可以說是他人生的貴人。金光祖是一個非常愛才的官員，他對于成龍的才能非常賞識。康熙六年（1667），金光祖向當時的兩廣總督盧興祖推薦于成龍為「卓異」。所謂卓異，故名思意就是政績突出有卓越才能的官員。
於是，這一年于成龍作為廣西唯一的卓異，升任合州知州。按照清朝的官制知州是從五品的官階，這樣，五十歲的于成龍以自己的實幹用了七年的時間連升三級。
于成龍接任的合州當時由於戰亂影響，民生凋弊，人口只有百餘人，賦役卻非常沉重。于成龍到任後，大力革舊布新，號召百姓墾荒，又別出心裁地出臺借給百姓耕牛和種子的措施，獎勵農耕。很快人口和耕田出現回升，社會經濟得到發展。
由于于成龍在合州任上的出色表現，康熙八年（1669）于成龍又被提拔為黃州府同知，同知是知府的副職，官階為正五品，于成龍在兩年的時間內，官階再升一級。在任黃州府同知期間，于成龍主要負責社會治安工作，他當時紮根麻城，親自到民間訪問調查，取得一手材料，破獲了許多大案，嚴懲了大量賊寇，對草寇起到威懾作用。
于成龍早年科舉失意，但在踏入仕途後，屢得上司賞識。前面說過，他在任羅城知縣時，被上司金光祖欣賞，舉卓異，升任合州知府。在康熙十二年（1673）時，于成龍在黃州同知任上又被湖廣巡撫張朝珍垂青，再次被舉「卓異」，升任福建建寧知府，官階為從四品，但很快又臨時調任為武昌知府。因吳三桂軍進攻湖南，于成龍受命建浮橋便於清軍渡河。但浮橋卻被洪水衝毀，于成龍因此獲罪革職。此後于成龍又因招降叛軍劉君孚官復原職。後于成龍又任黃州府知府等職。
康熙十七年（1678），六十一歲的于成龍被授為福建按察使，這是一個正三品的職位。次年，于成龍就因政績突出獲福建總督姚啟聖、巡撫吳興祚舉「卓異」，這是于成龍為官生涯中第三次被舉卓異。很快于成龍被升任福建布政使，官至從二品。
此時六十二歲的于成龍已年老體弱，多次想告老還鄉卻得不到朝廷的準許。此後于成龍又任直隸巡撫、兩江總督。
康熙二十三年（1684）四月，六十七歲的于成龍積勞成疾，在兩江總督任上離世。
于成龍離世前的職位是兩江總督，總督的官階一般為正二品，但康熙二十年的時候，康熙帝在任命于成龍為兩江總督時，加兵部尚書銜，這樣于成龍的兩江總督就升格為從一品。
于成龍為官二十餘載，從正七品知縣至從一品總督，勤政愛民，清廉一生。他為官不帶家眷，四十四歲孤身外出為官，直到六十四歲因為葬母才回家一次，與家人分別二十載始得相見，二年之後便累死任上。于成龍一生克己奉公，兩袖清風，天下廉吏第一，名至實歸。