舊日本陸軍平時的最高的常規編制是師團，其規模和國軍以及歐美部隊中的師基本對應，但是編制要大不少，師團之下就是旅團、聯隊、大隊、中隊、小隊。日本全面挑起侵華戰爭後，在師團上相應成立了軍、方面軍、總軍三個級別，分別下轄多個師團或者旅團，但都基本上都屬於臨時編制，可以根據戰場的需要成立或者取消建制。
日軍的師團長軍銜都是中將，師團轄下的旅團長軍銜基本上都是少將，這個級別已經不低了，二戰時期，日本內閣成員中的陸軍大臣或者海軍大臣，必須由現役的大將或者中將來擔任，而日軍的「將官」只有大將、中將、少將三個級別。
自從日本明治維新樹立了天皇無比神聖的地位之後，天皇也成為了軍隊及民眾心中唯一的膜拜之神，軍人能得到天皇的任命或者授銜都被視為一生最大的榮譽，無一不對天皇誓死效忠。在實際的運作中，特別是甲級師團長的任命、旅團下轄聯隊軍旗的授予，基本上都要經過裕仁天皇之手，他們的終極目標就是為天皇而戰死。因此，二戰中將師團長或者少將旅團長在戰敗時不少都會選擇剖腹自殺。
淞滬會戰從杭州灣登陸的日軍第十軍就是臨時組建的，由曾經擔任臺灣軍司令官的柳川平助中將擔任司令官，下轄第六師團、第十八師團及第一一四師團，為了加強第十軍的進攻能力還從華北方面軍抽調來了野炮重兵第六旅團及獨立山炮聯隊。南京淪陷後，第十軍建制被日軍大本營取消了，所轄的師團編入了華中派遣軍戰鬥序列。
其中我們最熟悉的就是第六師團，南京事件的罪魁禍首，師團長就是谷壽夫，畢業於日本陸軍大學，日軍有個「軍刀組」，就是對陸軍大學畢業生中前六名的稱謂，都能獲得天皇御賜的軍刀而得名。這個「軍刀組」惡棍很多，比如比較熟悉的東條英機、松井石根、畑俊六、石原莞爾、山下奉文等。
而谷壽夫也是「軍刀組」成員，抗戰爆發時擔任第六師團中將師團長，下轄步兵第十一旅團及第三十六旅團，還包括騎兵、工兵、輜重、野炮各一聯隊，日本投降後，谷壽夫被列為乙級戰犯並被處決。
第六師團下轄的第三十六旅團長就是惡貫滿盈的牛島滿，抗戰爆發後剛晉升少將軍銜，武漢會戰不久後晉升為了中將，擔任第11師團長，之後調往了太平洋戰場，擔任第32軍司令官負責指揮衝繩島戰役，軍銜還是中將，衝繩島兵敗後，牛島滿選擇了剖腹自殺。
最後需要特別指出的是，二戰日軍還有獨立混成旅團這一編制，旅團長一般都是少將軍銜，但也有特例。阿部規秀在擔任關東軍第一師團下轄的第一旅團長時，軍銜是陸軍少將，調往華北時擔任獨立第二混成旅團時，晉升為了中將，兩個月後在大掃蕩時掛掉了。