就去了兩年時間，期間朝廷群臣紛紛彈劾汪直，最終導致明憲宗動了放棄汪直之心。成化十九年（1483年），明憲宗下旨將汪直調到南京，此舉看起來是平級調動，實際上是收了汪直的大權，把他打發到南京，以後不再重用。
汪直
對於這個明憲宗曾經十分寵幸的太監，明憲宗為何會放棄呢？其原因有幾個：
1.西廠的建立使汪直樹敵太多。
成化年間，東廠和錦衣衛頹廢無能，使之無法行使其監察百官的職能，朝廷官員樂於看到這種情況。西廠建立後，曾一度取代錦衣衛和東廠，監察百官，引起朝廷群臣的警惕。西廠建立後，汪直先後偵破覃力朋、楊曄等大案，更是突破朝廷群臣的底線。
西廠的壯大，也引起東廠和錦衣衛的不滿。東廠廠公尚銘視汪直為仇人，只是汪直深得明憲宗信任，尚銘一時鬥不過汪直。還有汪直的年紀太小，卻居於高位，凌駕於眾人之上，難免也會遭到妒忌。成化十九年，汪直被貶到南京時，估計年紀也約20歲出頭。
朱見深
可以看出，在朝野內外，到處都有汪直的敵人。
2.汪直長期在外，使明憲宗對他的恩寵減少
汪直自成化十五年開始在外監軍生涯，尤其是在成化十七年（1481年）到成化十九年（1483年）這2年多一直都在大同。不在明憲宗身邊的時間長了，感情自然也就淡了下來，明憲宗對汪直的依賴也大為降低。
陳鉞
3.明憲宗後期怠政
明憲宗剛繼位時，也是銳意正濃、積極進取，才會支持汪直建立西廠，以改善明朝的刑偵系統，並對朝廷群臣進行約束。在朝廷中，明憲宗也重用彭時、商輅等名臣，使得朝廷政治清明。但到了成化十七年（1481年）時，明憲宗已經當了十幾年的皇帝，銳意早就沒有了，對國家大事早已厭煩，而且還長時間不理朝政。
汪直自建立西廠以來，一直飽受朝廷群臣的彈劾，早期明憲宗對他恩寵，自然不會理會。當明憲宗開始怠政，且對汪直的恩寵下降之時，那些與汪直有仇的官員再去彈劾汪直，明憲宗就會有所動搖。
汪直
成化十七年（1481年）七月時，汪直總督軍務直赴大同，本來取得勝利之後，汪直應該回京復命。此時，明憲宗卻任命汪直為鎮守太監，留守大同，其實這是對汪直的疏遠。看到這個信號後，妖道李孜省、東廠廠公尚銘和內閣首輔萬安開始在明憲宗面前彈劾汪直。李孜省是道士，明憲宗好方術，對李孜省很信任。對於李孜省來講，汪直會和他在明憲宗面前爭寵，他自然視汪直為仇人。尚銘因東廠被西廠壓制，早就對汪直不滿，也彈劾汪直。萬安則是文臣的代表，對汪直恨之入骨。加上朝廷群臣一直以來都請求撤除西廠，明憲宗最終做出放棄汪直的決定。