在平治之亂過後20年的時間裡，平氏家族的首領平清盛在日本朝野的地位是平步青雲。當時，後白河上皇需要藉助平清盛及其背後的武士集團的力量，以此來維持他對二條天皇的控制。而平清盛有了後白河上皇的支持後，先後擔任參議、右衛門督、兵部卿，最終位居太政大臣。他的弟弟平賴盛成為後白河上皇的大臣，兒子平重盛成為京都的軍事指揮官。二條天皇22歲時因急病逝世，平清盛安排了一場聯姻，把女兒平德子嫁給二條天皇的繼承者，其同父異母的弟弟高倉天皇。在平氏家族的控制下，公卿逐一沒落。
後白河上皇增強平氏家族勢力的計劃開展得過於順利，直至1179年，後白河法皇（1169年出家的後白河上皇）。他為了阻止平氏家族繼續擴張的野心，強力介入平清盛的事務，沒收了平清盛強佔的土地，並將其還給藤原家族和源氏家族。
做完這一切後，後白河法皇認為剷除平氏家族的時機已經成熟了，但事實證明他想錯了。平清盛武士集團的勢力依然遠超其他人；平清盛率領成千上萬效忠於平氏家族的武士進入京都，幽禁了後白河法皇，次年又逼迫年輕的高倉天皇禪位於其幼子，即平清盛的外孫安德天皇。
此時的平清盛位於權力的巔峰。他是天皇的外祖父，且控制了法皇，成為日本實際的統治者。為了坐上這個位置，他用了20多年的時間。但他僅僅享受了不到一年，就突染熱病，於1181年3月去世。
隨著平清盛的死去，反抗平氏家族的浪潮也越來越激烈。
發起反抗的人就是平治之亂的一個倖存者：源賴朝，就是被斬首的源義朝的兒子。平治之亂時，源賴朝12歲，凱旋的平清盛沒有將他處死，而是將其流放。這一仁慈之舉成了策略上的失誤。父親去世後，源賴朝一直生活在南方名為伊豆諸島的火山群島上，後又去了東海岸。東海岸原本是源氏家族的領地，所以他在抵達之後能夠召集自願追隨他的人。一系列勝多敗少的小規模戰役之後，他的軍隊力量漸強，最後他得以在鎌倉這個沿海城市站穩腳跟。
與此同時，平清盛的兒子平宗盛在京都召集平氏家族的追隨者。但是之後的14個月裡，天氣惡劣，旱澇交替導致食物匱乏，瘟疫橫行，雙方交戰不得不推遲。源義仲是源賴朝的堂弟，比源賴朝小7歲，原本也打算驟然舉兵，也因此而推遲。源義仲既有野心，又有作戰經驗，於1155年喪父。同與堂兄並肩作戰相比，他更傾向於自立門戶。他佔領了西部城市信濃，不久之後就聚集了比源賴朝麾下更多的兵力。
平宗盛決心率先對付他最大的敵人。不過平宗盛矛頭並未直指源賴朝。據史書記載，1183年，他派10萬大軍進攻源義仲。
平宗盛根本就沒有軍事天賦，支撐他必勝的信念就是以多打少，不過可惜的是，他麾下的人大多都是被強徵入伍的鄉野村夫。當平家軍靠近源義仲陣營時，源氏的武士們故意以合乎古禮的傳統對決方式應戰，拖延時間至夜幕降臨。天一黑，源義仲就下令放出一群犄角上綁著松枝火把的公牛衝入敵陣。驚慌之中，缺乏作戰經驗的平氏京都軍潰逃至附近狹窄的俱利伽羅峠（qiǎ，中國古字，日本的和製漢字）斷崖，他們已窮途末路，之後慘遭屠殺。聽聞平家軍戰敗，安德天皇和他的平氏親信逃離京都。源義仲一路挺進，佔領京都，受到了法皇的迎接。老奸巨猾的後白河法皇轉而表態將支持源氏家族。
平氏家族在俱利伽羅峠之戰中遭到重挫，其家族勢力在此後的兩年中迅速衰落。以京都為中心，源義仲開始竭盡所能追殺剿滅平氏家族餘黨。1180年至1185年，在源平合戰的這5年間，平氏家族的勢力幾乎被源氏家族殲滅。
1185年4月25日，平氏艦隊連同平清盛的外孫、7歲的安德天皇和天皇的外祖母、平清盛的遺孀被困於壇浦海峽。他們的船被源賴朝一個兄弟指揮的源氏艦隊擊毀。眼看敵人臨近，天皇的外祖母抱著天皇縱身跳海。其朝臣及戰敗的平氏武士們紛紛效仿，由於盔甲沉重，他們一齊沉入了海底。
平宗盛繼俱利伽羅峠之戰失利之後，再沒有什麼作為。他拒絕跳海，一名下屬對平氏領袖懦弱的表現備感羞憤，於是推其入海。但他深諳水性，後被源氏家族的船救起，成為戰俘。幾天後，平宗盛在由鎌倉送往京都的途中被斬首。
平氏艦隊全軍覆沒，日本平氏家族就這樣退出了歷史舞臺。源賴朝稱霸日本，並把他的堂弟源義仲趕出京都，自請就任右近衛大將，這意味著他控制了天皇身邊的禁軍。早在1183年，後白河法皇的另一個孫子，3歲的後鳥羽天皇登基。但源賴朝掌控著日本的武裝，一向能在混戰中擇良木而棲的後白河法皇承認了源賴朝的統治。幼主登基，實權卻掌握在其他人手中。這場權力鬥爭的結局，和其開始時的局面，簡直是一樣的。
1192年，源賴朝接受幼主授予的「徵夷大將軍」一職，成為軍隊總指揮，即日本的最高統帥。統治實權再次轉移，由上皇到了武士手中；之後的幾個世紀裡，幕府將軍成為僅次於天皇的日本統治者。