清光緒八年，因為金融危機和政治鬥爭的雙重打擊，更因為「大起園林，縱情聲色，起居豪奢，過於王侯，驕奢淫逸，大改本性」的暴發戶習性，胡雪巖數十年建立的商業帝國正式開啟了衰落進程，當初被其以驚人速度積累起的巨額財富，幾乎在一夜之間化成泡影。
根據《一士類稿》的記載，衰敗以後的胡雪巖為償還債務，甚至「不得已而以婦人衣褲折價相抵」；大街上商人、小販「挾胡氏物出售者，其類不可勝數」。更為可悲的是，原本希望胡雪巖能給自己置辦一場風光葬禮的胡雪巖母親，卻只能在無限悽涼中離世。那座被其耗費巨資修建的「江南第一豪宅」，也被人幾經轉手、反覆倒賣，一副標準的悽涼悲慘景象。
總之，此時的胡雪巖正應了那句戲言——「眼見著他起高樓，眼見著他宴賓客，眼見著他樓塌了」。
可家財散盡、身敗名裂的胡雪巖，還曾經擁有了無數姨太太，僅那座豪宅中就長期蓄養著多達13位妻妾。這些姨太太們又是如何對待已然敗落的胡雪巖呢？
根據時人筆記的記載，胡雪巖於徹底敗亡之前，將上海、杭州等地的姨太太們全部召集在一起，正式迎娶的妾室，「立即下鍵，予以五百金遣去，不得歸取物，有懷挾者任之」；剩餘的各處小老婆，原本就是胡雪巖僅用作滿足生理需求的工具，「本無一人崇尚名節，故一鬨而散，毋稍留戀」。
總之，曾經被胡雪巖錦衣玉食、奢華供養的姨太太們紛紛無情地離開了他，無一例外。
所謂「夫妻本是同林鳥，大難臨頭各自飛」，或許有人會說胡雪巖的這些姨太太們還真是無情無義的勢利眼，能同甘苦卻不能共患難。但是，如果你了解了胡雪巖對待這些姨太太的方式，你就會明白胡雪巖之所以落得如此境地，絕對是因果循環、報應不爽的必然結果。
暴富以後的胡雪巖，「姬妾成群，築十三樓以貯之」，正式過上了「縱情聲色，起居豪奢」的荒淫生活。
根據民國所成《記胡雪巖故宅》的記載，這13位妻妾以「中央嫡妻，環列十二金釵」的分布方式，圍繞著胡雪巖大到離譜的臥房。臥房中，有一個「如皇帝之御榻」的八寶床，胡雪巖每天晚飯以後都會按照皇帝臨幸後宮妃嬪的「翻牌子」方式，選擇侍寢妻妾，「每夕率以為常」。
當然，已經徹底進入荒淫狀態的胡雪巖，絕不會僅滿足於此，他對這些姨太太的肆意玩弄方式才叫人瞠目結舌。
《南亭筆記》記載了胡雪巖玩弄這些姨太太諸位常見的方式——「下活棋」：
胡嘗使諸妾衣紅藍比甲，上書車馬炮，有一臺，高盈丈，諸妾遙遙對峙，胡與夫人據闌幹上，以竿指揮之，謂為「下活棋」。
也就是說，在這位富可敵國的暴發戶眼裡，這些姨太太根本就不是人，而是可以肆意玩弄、任意戲耍的「工具」而已。
除此之外，胡雪巖對這些姨太太還全無信任，將她們所居住的臥室全部雕刻成鏤空狀態並專門設置了機關。只要胡雪巖願意，他就可以開啟機關，讓這些臥室「無一物遮擋，諸房都無遁形」。如此關係，還能算作夫妻嗎？如此態度，還會指責姨太太們會「大難來頭各自飛」嗎？
除了這些被正式迎娶的姨太太們，胡雪巖的商業帝國所能輻射到的地方，幾乎都有他的小老婆，而且對這些小老婆的利用程度和侮辱方式，遠遠超過了倫理底線。
根據《二十年目睹之怪現象》的記載，胡雪巖「到一處碼頭開一處店，便娶一房小老婆，立一個家」，等到店鋪生意步入正軌，他便會離開而任由小老婆和店鋪掌柜一同居住。如此經營手段，店鋪掌柜辦起事來自然是盡心盡力、誓死忠誠，店鋪生意焉能不蒸蒸日上，賺得缽滿盆滿！
至於那些被胡雪巖「於滬、蘇等地，微服遊行街市，見有姿色美麗者，以重金求之」的短暫夫妻，也只是為了滿足自己的欲望，或者為了曾經的被輕視而進行的變態報復。一旦身體和心理得到滿足，胡雪巖便會立刻生出喜新厭舊的心理，再以重金遣散。
就此來看，不管是正式迎娶的姨太太、於各處添置的小老婆，還是被胡雪巖「凡買而旋遣者，殆數百人」，都只是胡雪巖的利用工具，都不會將其視為自己的丈夫。如此一來，這些姨太太能在胡雪巖身敗名裂以後一鬨而散，也就成了必然結果。
清代女性形象
誠然，胡雪巖的迅速敗亡有著金融危機的負面影響，更有著李鴻章和左宗棠之間政治鬥爭的牽連，但更主要的原因在於他暴富以後的極度瘋狂。所謂「種因得果」，將姨太太們視為工具的胡雪巖，最後落得孤家寡人的悲慘境地，也算是因果循環、報應不爽。
參考文獻：《一士類稿》、《記胡雪巖故宅》、《南亭筆記》、《二十年目睹之怪現象》、《胡雪巖》