京城會試，于謙考中進士，終被任命為御史。自此他踏上了青雲之路。
宣德五年（1430），明宣宗任命于謙為兵部右侍郎，讓他巡撫山西、河南等地。此時他僅僅三十二歲。卻已位居三品，這不能不說是個奇蹟，於是他便成了無數人羨慕的對象。
他的升遷在當時很多人不滿意，這與當時朝中有人賞識是分不開的，而重點提拔他的人正是「三楊」。其中楊士奇就這樣說過：「此人是難遇之奇才，將來必成棟梁！我是為國家升遷他而已。」為了證明自己是個奇才，只有幹出成績。
為此于謙離開京城，開起了他地方官的生涯，也許他自己也沒有預料到，這一走啊，就是十九年。這十九年是他兢兢業業，十分清廉。在百姓心中威望很高。
當時有個官員名叫王振，這個人屬於雁過拔毛的人，只要有人進京報告情況，就得給 他點東西，他是來者不拒。而于謙呢，大不相同，官居巡撫，權利特大，卻做到了不 貪一針一線。他自己不貪。也絕不許別人貪。就這樣一貪一不貪，矛盾來了。於是看不慣于謙的王振找了個理由把于謙抓了起來，結果呢，于謙在獄中大罵王振貪得無厭，王振氣的不行，又因為于謙的威望太高，他殺又不敢殺，沒有辦法還是放了于謙。出獄的于謙仍然堅持他的做官做人原則，清廉如故。
也有朋友勸過于謙，多少做點人情不要太固執，於是于謙來了一首詩回答。連他本人也絕對不知道，他的這詩竟然流傳千古。詩曰：絹帕蘑菇及線香，本資民用反為殃。清風兩袖朝天去，免得閭閻話短長！