日軍內部的等級是非常森嚴的，日本在二戰時期的軍銜與國際慣例也是基本接軌的，除大元帥和元帥外，共分為將、佐、尉、士官、士兵五等十六級，它的特點就是自家修改了「校官」和「士官」兩階軍銜的稱謂，讓吃瓜群眾看起來很另類的樣子，其實差別不大。
日本舊制天皇為陸海軍統帥，所以裕仁的軍銜是「陸海軍大元帥」，他有陸軍和海軍兩款制服，領章上除去三顆將星之外，還有一個金色菊花的皇室標誌，不細看很象四顆星。
日本的「元帥」只是個榮譽軍銜，沒有特製的領章，一般授予資深及有功的大將，比如山本五十六被擊落身亡後就追授了「海軍元帥」。到日本投降時還有三個元帥在職，分別是南方軍總司令寺內壽一、第一總軍總司令杉山元和第二總軍總司令畑俊六。它設有「元帥府」，但只是最高軍事諮詢機構，類似於「顧問團」。
日軍的將官分為大將、中將和少將三階，沒有「上將」和「準將」的級別，那就是大將對等於其它國家的上將而已。作為正式軍銜的最高等級，大將的授予是非常嚴格的，必須要資歷、戰功、職務都達到相當，並且還需要裕仁的認可，投降之前雖有600萬軍隊，現役大將卻寥寥無幾。
所以二戰日軍的方面軍司令、軍司令官、師團長基本都是中將軍銜，岡村寧次在就任華北方面軍司令官時獲授大將，是因為裕仁的重視，還是比較特例的。
最特殊的稱謂出現在校官一級，日本人別出心裁將其稱呼為「佐官」，即大佐、中佐和少佐，其實與國際慣例相同，換個字而已。大佐最常見的對應職務是步兵聯隊長，中佐最常見的對應職務是特殊兵（騎工炮輜）聯隊長，少佐一般是聯隊級副職或大隊級正職。
尉官無甚特點，大尉、中尉、少尉和準尉四級，日軍步兵中隊長的標配是大尉，小隊長的標配是少尉；中尉則為步兵中隊副職或特種兵中隊正職。準尉又稱為「準士官」，一般是見習小隊長。
日軍的士官稱謂比較亂，分別是曹長、軍曹和伍長，其實就是上士、中士和下士。士官在基層部隊中的作用是非常大的，日常管理士兵、戰時軍官傷亡時接替指揮等。
普通士兵分為上等兵、一等兵和二等兵，其中二等兵就是剛入伍的新兵，其它國家大多稱為「列兵」。