公元9世紀，日本產生了攝關政治，這種政治制度使得天皇的權力逐漸轉移到了藤原氏的手中，但是天皇顯然不會甘心，於是雙方開始了長時間的政治鬥爭。就在這種情況下，日本在律令時代確立的班田制逐漸崩潰，被新興的莊園制經濟所取代，建立在班田制基礎上的國家軍隊制度也被破壞了。此時的日本社會開始動蕩不安，社會秩序開始逐漸混亂，武士階級在此基礎上開始產生並逐漸發展起來。等到公元9世紀中期，中央和地方都紛紛招募武士組成軍隊來進行政治權力的鬥爭，這就讓武士具有了合法的身份。
等到公元12世紀末期，源賴朝憑藉武力奪得了政權，建立了鎌倉幕府，武士作為統治階級開始登上歷史舞臺。而維繫武士階級內部穩定的，就是主從關係。
其實早在古代日本的村落時期，主從關係就已經開始萌芽了。這種所謂的主從關係其實就是指，雙方之間結成一種相對穩定的社會關係，其中一方佔據著支配的主動權，另一方作為從屬者保證服從。在這種關係中，並不是一方僅僅索求而另一方長期給予，與之正相反的是，這種主從關係其實使雙方都能從中獲得自己所需要的東西。它不僅僅是一種隸屬關係，同時也是一種互利互惠的關係，因此能夠對武士階級內部進行一種長期地、穩定地維繫，為幕府統治提供了重要的基礎條件。
日本歷史上首個幕府政權是源賴朝在1192年建立的鎌倉幕府，這一時期的主從關係其實是以血緣、家族關係為紐帶而結合的，又被稱為御家人制。所謂的「御家人」就是指那些與將軍有主從關係的武士，而在這種制度中，將軍賜予御家人土地和官職並保護他們的既得利益，這被稱為「御恩」，與此同時，御家人對將軍宣誓效忠，並承擔納貢和服軍役義務，這被稱為「奉公」。這種御家人制度從表面上來看是一種利益相關的主從關係，而之所以說它是一種血緣家族關係是因為當時的御家人其實是由鎌倉殿發展而來的分家所構成的，血緣關係上類似於我國西周時期的諸侯。這些分家主要擔任了兩種職務，一種是守護，也就是地方上的軍事統領，一種是地頭，是源氏家族在各地莊園中的管理者，他們共同組成了廣大的御家人。
這種血緣家族主從關係使得鎌倉幕府從中央到地方的各級武家政權能夠保持同步，有利的鞏固了源氏的統治。但是在源賴朝死後權力被外戚北條氏所竊取，御家人制度不斷瓦解，1333年，後醍醐天皇聯合其他的武士貴族們推翻了鎌倉幕府。
三年後，出身名門的足利尊氏將軍在京都建立起來了一個新的幕府政權，名為室町幕府。這一時期的武士階級主從關係主要是以地緣為紐帶而結合的，這種關係如果要類比的話，可以看作是中國古代最不穩定的異姓諸侯王，由此就可以知道室町幕府的主從關係其實不太穩定。室町幕府的武士階層從上到下是將軍、大名、武士團、武士，其中武士團和武士之間的關係相對來說更加穩定一點，因為武士是直接效忠於武士團的，而對將軍則是間接效忠。
這種地緣的主從關係僅僅只是維繫了武士和武士團之間的關係，使得沒能建立直接主從關係的將軍長期以來都只能依靠各種聯盟來平衡統治，出現「下克上」的局面。而在室町幕府後期，獨立於幕府之外的戰國大名興起，導致室町幕府的崩潰。
戰國大名興起之後，日本進入了戰國時代，這一時期的政治相對混亂，出現了許多著名的人物，比如推翻室町幕府的織田信長、統一了整個日本的豐臣秀吉，以及建立起最後一個幕府——德川幕府——的德川家康。
在德川幕府時期，武士階級之間的主從關係以「俸米祿」而紐帶。將軍把土地牢牢地控制在了自己的手中，通過其特殊的分封制使得武士變成了領取俸祿的家臣，讓這種主從關係變得非常牢固。這一時期的主從關係規定武士階級必須奉獻出自己的一切才能換取物質生活資料，不能脫離不能背叛，只能世世代代效忠於一個主君，為德川幕府的長期統治做出了巨大的貢獻。
總而言之，主從關係對整個幕府統治有著非常深遠的影響，這種關係明確地規定了武士和主君之間的權利和義務，使得階層之間的界限相對明確，從而維護了整個幕府時期的穩定和發展。同一時間產生的日本武士道精神，也對明治維新之後的日本政治經濟社會文化等各個方面都有著非常大的作用，使日本在明治維新之後迅速崛起。