1426年，朱瞻基即位，當時他冊封了胡善祥為皇后。不過誰也沒想到，看似恩愛的皇帝和皇后，卻出現了很大的矛盾。1428年，胡善祥皇后的位子被廢，她也因此成為明朝第一個被廢的皇后。胡善祥被廢後退居長安宮，賜號靜慈法師，得到張太后眷顧。很多人想不通胡善祥到底做了什麼，朱瞻基要廢掉她。其實她並沒有做什麼，這都是朱瞻基的原因。
胡善祥年輕的時候以賢德聞名，為人忠厚善良、天性貞一、舉止莊重，無媚順之態。所以朱棣在位的時候，選了她當皇太孫妃。朱棣對這個太孫妃還是非常喜歡的，不僅是朱棣喜歡。當時朱高熾的妻子也非常喜歡自己這個兒媳婦。她們婆媳之間的關係非常好，所以後來朱瞻基廢胡善祥的時候，他母親張太后還是一直反對。
胡善祥嫁給朱瞻基之後，沒有做任何錯事，可以說一直是安分守己。不僅朱瞻基自己家人對她非常肯定，超重的大臣對這個皇后也非常肯定。朱瞻基卻非常不喜歡這個妻子。朱瞻基有一位青梅竹馬的妃子叫孫若微，孫若微少年時期就頗有美色。她的父親孫忠，是永城縣的主簿。明仁宗張皇后的母親彭城伯夫人，也是永城人，她時時出入宮廷，說孫忠的女兒非常賢德，所以孫皇后才得以入宮。就這樣孫若微和朱瞻基非常熟悉，兩人可以說是青梅竹馬、兩小無猜。朱瞻基之所以娶胡善祥為皇后是因為朱棣制定的，他不能違背。不過他也娶了孫若微，而且繼位後，就封孫若微為貴妃，僅次於皇后。
朱瞻基繼位後，一直想廢掉皇后，讓孫若微當皇后。不過皇后從沒有犯錯，所以沒有理由下手。再加上大臣的反對，所以阻力更大。1428年的時候，朱瞻基最終還是下手了，他以胡善祥沒有剩下男孩為由，只生兩個閨女，而且身體不好，所以要求胡善祥主動辭去皇后的位子。胡善祥被逼得沒有辦法，只得辭去皇后的位子。其實這個藉口太荒唐了，皇帝和皇后都才二十多歲，而且皇后還剩下兩個閨女了以後生孩子還早著呢。而且朱瞻基去世七年後，胡善祥才去世的。說人家身體不好，結果自己還不如人家活得久，真的是莫大的諷刺。不管從哪個方面來說，胡善祥都不應該被廢。
不過由於皇帝的心思不在胡善祥身上，她也沒有辦法。她知道即使自己不辭皇后的位子，朱瞻基以後還會找更多的藉口。不如辭去了，這對自己也好。
胡善祥辭職後，張太后對她還是非常好。雖然孫若微成了皇后，但張太后在內廷朝宴上，命胡廢后位居孫皇后之上。不得不說她對這個這個兒媳婦還是很滿意的。不過這都是皇帝的意思，自己也不能過多幹預。其實胡善祥的遭遇還是很慘的，自己什麼都沒做錯，卻被廢。也許真的是沒有遇到對的人，否則她也不會落得這個下場。