正統年間，衝齡即位的朱祁鎮任用太監王振，縱容其幹預政事，作威作福。願意巴結奉承者，加官進爵，稍有不服或禮貌不敬者，就會遭到報復。一時間士大夫廉恥盡喪，在巴結奉承上，那是既含蓄又精妙。有一次王振看到工部郎中王佑沒有鬍子，就問他；「你怎麼沒鬍子？」，王佑答，「老爺所無，兒安敢有？」把王振逗得哈哈一笑，第二天就提升王佑為工部侍郎。
按理說三楊既是百官之首，又是先帝託孤的輔政大臣，眼看著王振權勢日益擴大，把官場弄得烏煙瘴氣，連內閣的各項權利也被不斷侵蝕剝奪，理應有責任有義務站出來，或抨擊王振，或勸諫帝王，但是直到三楊相繼去世，也未見三人有任何動作，的確讓人疑惑不解。
早在朱祁鎮即位之初，三楊之首的楊士奇就上奏提醒過太皇太后、皇太后要留意皇帝的身邊人，一定要選擇「立心行己正當者」，否則與小皇帝日久生情，使皇帝情感大於理智，再想除去宵小就難了。如今情形，算是被楊士奇說了正著。
王振的專權不僅危害了正統朝，更是明代宦官專權的開端，此後每隔一段時間就有權閹橫行，但是也會伴隨著皇帝的生殺予奪而停止，所以，若想真正阻止宦官專權，關鍵還在皇帝。宦官的權利都是皇帝賦予的，只要皇帝能夠乾綱獨斷，自然沒有宦官什麼事。
那麼皇帝要想乾綱獨斷有那麼難嗎？
還真有！
有明一代，除了太祖朱元璋嚴格限制太監的權利之外，之後的皇帝基本都離不開宦官，還發展出了一套宦官制度。
建國之初，朱元璋汲取前代的亡國教訓，規定嚴禁宦官幹政，但自從朱棣靖難登基之後，由於當時宦官有功，且手下諸多宦官文武兼備，於是朱棣開始大量任用宦官。而且朱元璋廢除了宰相之後，政事都壓在了皇帝一人身上，即便是精力旺盛的朱棣也深感吃不消，於是內閣誕生了。仁宣時期，以三楊為首的內閣地位逐漸上升，皇帝在政事上對內閣也甚是倚重，基本上朝政大事先由內閣起草意見，叫做「票擬」，轉呈皇帝批閱，節省了皇帝的時間，也提高了工作效率。儘管如此，皇帝依舊要一個人面對海量奏摺公文，但又不能將權利全部移交內閣，否則內閣就等同於宰相了，有違朱元璋禁止再設立宰相的祖制。於是司禮監的職責就擴充了。司禮監設立若干秉筆太監幫助皇帝分批奏章，叫做「批紅」。一些日常瑣事，秉筆太監只需要按照內閣的票擬意見，用硃筆謄寫在奏章上，或是口述奏章概要與票擬意見，皇帝只要口授決議，秉筆太監再行批覆。只有少部分非常重要機密的奏章留給皇帝親自批閱，極大的減少了皇帝的工作量，提升了工作效率。
不過這樣操作就需要秉筆太監不僅僅是識字這麼簡單，需要有一定學識知識儲備能力才行。於是，自宣宗時起，設立內書堂，由翰林學士親自教授十歲以下的小太監識字明理，以便日後輔助皇帝理政。此事當時三楊也並未反對，只是主張要慎重挑選。顯然當時三楊也並未意識到這件事有多麼大的潛在危機，況且與宦官合作也未嘗不可，畢竟有些宮闈秘事，大臣力所不及，宦官反而可以利用自身有利條件，解決一些實際問題。
自此司禮監與內閣合作處理政事的局面確立下來，這樣的制度如果應用得好，是一個不錯的合作。但前提是要有一個合格的君主，來平衡兩者間的權力，或者是任用賢能的大臣和太監，不至於徇私亂政。
顯然朱祁鎮並不是一個合格的君主，他既沒有其父祖的帝王之術，也沒有優秀的政治才能。年少即位，政事基本全靠司禮監與內閣打理，三楊雖為輔政大臣，但是卻並不能得到朱祁鎮的信任，反而事事依賴王振的意見，導致權力的天平逐漸向王振傾斜。
面對這種變局，三楊能做的就非常有限。
首先，三楊是地地道道的儒臣，而非權臣。所以他們不會擴張自己的權利範圍，增加政治話語權，儒臣的實現政治途徑是輔佐君主，他們只會通過獻計獻策，或是規勸諍諫的方式來解決問題。這種方式就相對被動，在朱祁鎮的信任遠不及其父其祖對三楊的信任時，所有的規勸和建議被採納的成功率就大打折扣，自從正統初期開始，一些政治決策比如人事任免權、是否-出兵麓川等決定就已非三楊能左右了，更何況是參議朱祁鎮最信賴的王振。
其次，三楊歷經四朝，幾經沉浮，對於權衡利弊得失已然有了個人的心得體會。三楊中的楊榮曾說，「事君有體，進諫有方，以悻直取禍，吾不為也。」他們不會像官場直臣一樣，甘願捍衛倫理道德而去得罪君王，不僅不能解決實際問題，反而給自身取禍。不管是從實際出發，還是為了自己的身前身後計，所謂的忠直正義都會向現實低頭。三楊能憑藉僅存的微弱影響力儘量影響皇帝的決定，保存朝中忠正之士不被王振侵害已然不易了。
不只是三楊，在朝所有熟讀孔孟之道的士大夫都在面臨捍衛倫理道德與接受現實的艱難選擇。
一些士大夫忍受不了這種局勢，又無力解決，會選擇掛冠而去，以求獨善其身。留下來的人能做的只有等待，或者等待皇帝哪一天的覺醒，或者等待一個時機可以幹掉權宦。在此期間只能委曲求全，暫時拋開道德的框架，放棄實現自己的政治理想，小心翼翼與之共存，因為應對權宦及其黨羽的麻煩已經足夠焦頭爛額了。
只是三楊沒有等到這個時機就離開了人世，後繼的士大夫們在王振專權八年之後終於等來了皇帝御駕親徵，等來了土木堡之變，才算等來了王振時代宦官專權的結束。