徵夷大將軍在日本歷史上，原為大和朝廷為對抗蝦夷族所設立的臨時的高級軍官職位，本應於停戰時即功成身退。「夷」其實是指曾在本州和北海道居住的蝦夷族（阿伊努族），而「將軍」一詞指軍階中的高級領導職。徵夷大將軍的衙門稱為幕府，故中文俗稱徵夷大將軍為「幕府將軍」，也常簡稱其為「將軍」。
在十一世紀早期，受將軍保護的大名控制了日本的內政事務。其中清和源氏和伊勢平氏為兩個最有勢力的家族，為了控制已經衰弱的京都朝廷，兩家爭鬥不斷。在1160到底部1185年間，伊勢平氏控制了局面。平清盛歿後，平氏最終在壇之浦之戰敗於源氏，政權瓦解。源賴朝消滅奧州藤原氏後，從京都貴族和中央政府中取得政權受冊封為徵夷大將軍。
在鎌倉建立了日本史上第一個以幕府將軍為首的封建武家政權鎌倉幕府，令自己取得實權之餘，亦令天皇在按照法律的情況下繼續保持一國之君的地位。在1192年源賴朝被天皇封為徵夷大將軍，他發展出的軍人政權被人稱之為幕府。源賴朝的妻子北條政子所屬的北條氏家族在源賴朝歿後取得政權。源賴朝的子嗣源賴家及源實朝相繼被殺後，源氏家族被滅。幕府將軍已成為傀儡，任由世襲執權一職的北條家族廢立，實權落在北條氏手上。
在1274到1281年，蒙古帝國三次進攻日本雖然皆以失敗告終，卻使幕府元氣大傷，最終衰亡。
在1333年，北條氏攝政的鎌倉幕府於東勝寺合戰後被推翻。皇室中的兩個家族，一為大覺寺統，另一是持明院統，相爭帝位。經鎌倉幕府的協調後，兩個家族決定以更替方式輪流即位，即二統迭立。惟在1331年，大覺寺統不滿此制，最後後醍醐天皇被流放。足利尊氏於大概1334至1336年間，為後醍醐天皇奪回帝位。
天皇對幕府發動的戰爭，使皇室大量用人，導致分地不足。此問題日益惡化，使足利尊氏後來倒戈，1336年推翻後醍醐天皇親政的「建武政權」，建立由室町幕府領導的新政權，進入室町時代。
1335年，足利尊氏利用前往東國平亂時機，在鎌倉反叛，1336年1月攻入京都，3月退出京都進軍九州。以後醍醐天皇為代表的朝廷派遣新田義貞前往平叛，兩軍與兵庫湊川決戰，新田義貞大敗，足利尊氏再次攻入京都，後醍醐天皇出逃，尊氏擁立光明天皇，並將後醍醐天皇監禁。 尊氏控制京都後，自任徵夷大將軍，室町幕府正式建立。同年12月，後醍醐天皇逃至吉野，宣布重開朝政。京都的光明天皇朝廷為北朝，吉野的後醍醐天皇朝廷為南朝，日本正式進入南北朝時期。1336年11月7日，室町幕府公布《建武式目》，標誌著足利幕府統治的建立。1350年2月，足利尊氏之弟足利直義背叛北朝朝廷投靠南朝，並與1351年1月率軍大敗幕府軍，2月尊氏與脂溢和好，但不久又因南北統一主張的不同再次反目。1353年2月，尊氏殺脂溢。1358年4月，尊氏歿，12月，足利義詮繼任第二代將軍。1367年11月，足利義滿就任第三代將軍，1392年，北朝統一南朝。南北朝時代結束。
1467年，幕府三管領中的細川勝元與四職中的山名宗全等守護大名的爭鬥。其範圍除九州等部分地方以外，戰火遍及其他日本國土，史稱「應仁之亂」。由於此一動亂，使日本進入將近一個世紀長的戰國時代，室町幕府將軍名存實亡。 1573年，織田信長流放最後一任將軍足利義昭，室町幕府正式滅亡，進入安土桃山時期。
室町幕府滅亡後，織田信長繼續消滅了淺井氏、朝倉氏兩家，迫使伊勢國司北田具房將家督讓給信長次子織田信雄。他還平定了三好長慶、松永久秀等南近畿勢力。不久之後，織田信長在近江建城，作為織田政權的象徵。1575年，武田勝賴率軍攻擊三河長篠城，與織田、德川聯軍在三河設樂原展開交戰。由於織田一方使用了鐵炮等新式武器，造成武田家折損諸多重臣。長篠之戰使武田氏走向衰落，導致後者於1582年滅亡。 武田家衰亡後，信長以近畿為核心，向四周快速擴張。1582年，織田家家臣明智光秀在信長支援攻略西國中國地方的總大將羽柴秀吉的旅途中借住宿京都本能寺之夜突然叛變，信長和嫡長子織田信忠先後戰死。是為本能寺之變。 羽柴秀吉正在中國地方與毛利家作戰，在政變後5天之內急行軍約200公裡（史稱中國大返還），聯合織田家其他重臣擊敗明智光秀，是為山崎之戰，亦稱天王山之戰。在決定織田家繼承人的清洲會議上，秀吉支持信忠之子織田秀信繼位。日後，秀吉逐步擊敗反對他的其他織田家舊臣。最終，織田信長建立的基業，基本上被豐臣秀吉完全繼承。
1585年秀吉擔任關白一職，次年正式獲賜豐臣氏，並就任太政大臣，奠定豐臣政權。通過紀州、四國和九州徵伐，長宗我部氏、島津氏歸降。1590年在小田原之戰中消滅了後北條氏，並使東北大名降服，成為完成統一日本壯舉的第一人。
次年，豐臣秀吉將關白一職讓與養子豐臣秀次，自稱太閤，以世襲的方式宣示豐臣政權的穩定。政治上通過太閤檢地、兵農分離、惣無事令等政策，為之後江戶幕府的發展做了一定的鋪墊。1593年,秀吉獲得了次子豐臣秀賴。秀吉為了掃除秀賴繼位的障礙，於1595年以涉嫌謀反的罪名把秀次賜死，同時族滅了秀次一家老小。
1598年豐臣秀吉歿後，政權由秀賴繼承。秀賴在繼位時年僅6歲，無力控制家臣間的矛盾，加上在朝鮮之役期間便已經開始萌芽的加藤清正、福島正則等武功派與石田三成、小西行長等文治派的對立表面化，使豐臣家臣團徹底分裂。同時，在朝鮮之役時沒有出兵，保存了大部分實力的德川家康對天下蠢蠢欲動，並無視秀吉生前禁令，開始與各地大名聯姻，使得豐臣政權急速陷入混亂。1599年，秀吉生前委託之監護人前田利家病重離世，間接使德川家康成為最有政治影響力的大名，也使家康基本上壟斷了對豐臣政權的話語權。另一方面，對於家康專政極度不滿的其他家臣石田三成、上杉景勝、毛利輝元等人連同其他仍然盡忠於豐臣家的大名，於1600年發動了關原之戰與家康決戰。這場決定天下誰屬的戰役，結果以石田三成主導的西軍落敗，三成被処斬，各西軍大名領地被改易減封而結束。至此，日本國內反徳川的勢力幾近消滅，天下的主導權落入徳川家康手中。
在關原之戰的戰後處理結束後，徳川家康於1603年獲朝廷任命為徵夷大將軍，並開設江戸幕府。至此豐臣政權對日本的管治正式結束，進入江戶時代。在開設江戶幕府後，日本各地本來臣從於豐臣家的大名紛紛轉向臣服於德川家，直到1614年，只剩下澱殿、豐臣秀賴母子沒有對幕府表示臣服。最終德川家康在同年冬天和1615年夏天發動了大阪冬夏兩役，使豐臣家徹底滅亡，奠定德川家兩百六十多年的基業直到1868年大政奉還結束。