一、小隊——步兵小隊轄一個機槍組（二挺輕機槍）、一個擲彈筒組（二個擲彈筒）和二個步槍組。每挺輕機槍編制四人（指揮官、射手、兩名攜彈藥的副射手），每具擲彈筒編制兩人。小隊人數在50到70之間。到1945年，步兵小隊僅有一挺輕機槍與一個擲彈筒。步兵炮小隊，兩門70mm步兵炮。
二、中隊——步兵中隊轄三個步兵小隊，人數在194到250人之間。日軍的一個標準的步兵中隊（181人）包括：一個19人的中隊部：中隊長，執行官，3個軍士，4個衛生員，軍官的勤務兵，司號員，8個通信員），3個前述54人的小隊。
三、大隊——日軍一個標準的1100人編制的大隊包括：30人的大隊部，一個110人的運輸中隊（大車和騾馬），有的大隊將所屬的運輸中隊合併到聯隊裡。
四個前述的步兵中隊（一些只有3個）；一個174人的機槍中隊（14人的中隊部和3個機槍小隊，1個彈藥小隊），每排4挺重機槍，總數12挺（有的連只有8挺）；一個55人的炮小隊（1個10人的小隊部，1個15人的彈藥班，兩個15人的炮班各裝備1門70mm九二式步兵炮），極少的部隊配備一個122人的炮中隊（包括一個27人的彈藥小隊，兩個31人的炮小隊各裝備2門步兵炮）。在這些少量的炮中隊中，極幸運的一些可以分到20MM反坦克槍的部隊，可以編成4個24人的裝備2挺反坦克槍的小隊，這種情況下彈藥小隊要擴充為39人。
四、聯隊——日軍的一個標準的3800人的聯隊包括一個54人的指揮部；一個121人的運輸隊（大車和騾馬），攜帶聯隊部和直屬各中隊一日份的給養以及可能配屬師的野戰廚房；一個81人的彈藥排攜帶一日份的彈藥。
三個步兵大隊；
一個122人的炮兵中隊，包括一個25人的中隊部， 1個觀察班， 一個31人的彈藥小隊，三個31人的炮小隊（各有2個15人的炮班，裝備1門70mm九二步兵炮）。極少數聯隊有一個364人的炮兵大隊，編兩個170人的中隊，各4門炮。
聯隊屬反坦克中隊有122人：20人的中隊部，21人的彈藥小隊，3個33人的炮小隊（各有兩門37mm反坦克炮）。
通信中隊有一個電話小隊（4到6個電話班，每班3部電話，一個交換機），一個無線電小隊（5到8臺電臺），在戰鬥中電話和電臺配屬到各大隊和各直屬隊。
聯隊的衛生系統配備很薄弱， 聯隊只有2名醫生和2名衛生員，大隊有3名醫生和四個衛生員，中隊有四個衛生員。
五、旅團——
師團轄步兵旅團(5000---7700人)下轄兩個步兵聯隊，每個步兵聯隊2500---3800人。
獨立步兵混成旅團——
初期，獨立混成旅團轄五個步兵大隊與一個炮兵隊、通訊隊、工兵隊、輜重隊等，總人數約5000人。步兵大隊轄三個步兵中隊與一個機槍中隊（四挺重機槍）、炮兵隊轄一個山炮中隊與二個野炮中隊。旅團司令部：人員27，馬6；獨立步兵大隊：人員782，馬40；炮兵隊： 人員596，馬366；工兵隊： 人員176，馬6；通信隊： 人員175，馬27；共4900人。
後期，獨立混成旅團的步兵大隊改為轄有四個步兵中隊、一個機槍中隊與一個步兵炮中隊，人數達1500人的大編制。旅團炮兵則轄有六門野炮與十二門山炮，同時其工兵、輜重部隊也予以擴編，全旅團約8280人，配備軍馬1800匹、步騎槍4050枝、擲彈筒120個、輕機槍120挺、重機槍30挺、平射炮10門、山炮20門、野炮12門等武器裝備，是具備相當野戰能力的作戰單位。
獨立警備隊——獨立警備隊一般管轄六個獨立步兵大隊，大隊下轄三個步兵中隊與一個機槍中隊（四挺重機槍），共有兵員5450人，配備軍馬420匹、步騎槍3660枝．擲彈筒144個、重機槍24挺。由於這種部隊沒有重型武器，一般只擔任後方警備任務。
騎兵旅團——騎兵旅團一般下轄兩個騎兵聯隊，一個騎炮兵聯隊，一個裝甲車隊共有兵員5600人，配備軍馬5668匹、步騎槍3705枝、重機槍12挺、野炮36門等武器裝備。
野戰重炮兵旅團——野戰重炮兵旅團是其陸軍預備隊炮兵，一般有官兵8000餘人，配備有100毫米至240毫米的大口徑榴彈炮或加農炮70餘門，常用於重點攻堅任務。
六、師團——日軍的師屬單位主要有：3個步兵聯隊，一個野戰炮兵聯隊，一個偵察聯隊，一個工兵聯隊，一個運輸聯隊，通訊隊。
野戰炮兵聯隊編制2322人，有3個688人的炮兵大隊，各裝備12門75mm野炮或山炮， 只有一些師團將其中一個大隊替換成105mm炮。
偵察聯隊編制730人，包括一個130人的聯隊部，一個130人的騎兵中隊（4個30人的排）， 兩個160人的摩託化中隊，1個100人的卡車運輸中隊（至少在紙面上可以運輸那兩個摩託化中隊）。這個偵察聯隊也可以被一個950人的騎兵聯隊代替。
工兵聯隊編制900-1000人 ，幾乎沒有機械裝備，只能承擔極少的任務，更專業的任務主要由配屬的獨立工兵聯隊負責。
運輸聯隊的規模大體上取決於可用的卡車數量，從理論上來說，由一個卡車大隊和一個騾馬大車大隊組成。卡車大隊由2到3個中隊組成，每中隊最多有50輛載重1.5噸的卡車， 許多師團都缺少卡車，一些根本就沒有。
綜合日軍一個師團，有54門75MM的野炮或山炮，少數師團用12門105MM炮替換了75MM炮，卡車方面日軍最多有100-150輛卡車。
抗戰中期，隨著正面和敵後兩個戰場的展開，日軍為適應不同戰鬥規模的需要，把師團分為甲、乙、丙、丁四種等級，同時在做戰時日軍給各師團配屬特種兵及補充人員等，可使一個師團指揮的人馬達四萬人以上。
1、四單位制師團：又稱挽/馱馬師團，甲種師團。轄2旅團（每旅團2個步兵聯隊），工、騎、炮（48門炮）、輜各一聯隊，共8個聯隊。一般齊裝滿員的日軍常備主力陸軍師團兵力往往可達24000－28000人，擁有戰馬7630匹、步騎槍14900枝、擲彈筒144個、輕機槍288挺、重機槍54挺、山炮16門、野炮36門等武器裝備。是具有多兵種配合的有強大戰鬥力的作戰單位，故這種師團又被稱為甲種師團。日本陸軍第一至第二十師團、近衛師團、近衛第二、近位第三師團、戰車第一、第二、第三師團和一度由常備主力師團的預備役部隊編成的8個師團，均屬於甲種師團的編制。
（1）單位挽馬師團人員，裝備情況——
師團司令部：人員330，馬：165，各種槍95，非機動車63。
旅團司令部：人員75， 馬20，各種槍36，非機動車4。
步兵聯隊：人員3747，馬526，各種槍2590，各種炮14，擲彈筒76，非機動車256。
步兵大隊：人員1091，馬118。
步兵中隊：人員194，各種槍174，擲彈筒6。
野炮兵聯隊：人員2894，馬2269，各種炮48，各種槍541。
野炮兵大隊：人員634，馬499，野炮12。
野炮兵中隊：人員128，馬184，野炮4。
騎兵聯隊：人員452，馬429，各種槍320。
騎兵中隊：人員144，馬134。
工兵聯隊：人員672，馬99。
工兵中隊：人員286，馬19。
師團通信隊：人員255，馬47。
輜重兵聯隊：人員3461，馬2612。
輜重兵中隊：人員562，馬376。
師團衛生隊：人員1101，馬128。
兵器勤務隊：人員121。
野戰醫院：人員240。
總計：每師團約25000人，每旅團約7800人。
（2）常設四單位制馱馬師團人員裝備情況——
師團司令部：人員391，馬239。
旅團司令部：人員80，馬25。
步兵聯隊：人員3818，馬約720。
步兵大隊：人員1150，馬180。
步兵中隊：人員194。
騎兵聯隊：人員508，馬約321。
炮兵聯隊：人員3699，馬3600，炮48。
山炮兵大隊：人員999，馬720，炮12。
山炮兵中隊：人員195，馬138，炮4。
工兵聯隊：人員719，馬150。
工兵中隊：人員約300。
輜重兵聯隊：人員4890，馬4260，輜重馱馬具3882。
輜重兵中隊：人員684，馬598。
師團通信隊：人員289，馬84。
師團衛生隊：人員1328，馬163。
兵器勤務隊：人員121。
野戰醫院：人員300左右
總計：每師團28500人，每旅團約7900人。
（3）臨時編成三單位制挽馬師團人員裝備情況：
師團下轄一個步兵團，步兵團下轄三個步兵聯隊，師團還有師團搜索隊，野炮兵聯隊，工兵聯隊，輜重兵聯隊，通信隊，衛生隊，兵器勤務隊，病馬廠一個，野戰醫院2個。
師團司令部： 人員91，馬22，馬車8。
步兵團司令部：人員7，馬3。
步兵聯隊： 人員2909，馬179。
師團搜索隊： 人員319，馬185。
野炮兵聯隊： 人員1745，馬1259。
工兵聯隊： 人員402，馬15，車2。
師團通信隊： 人員178，馬30。
輜重兵聯隊： 人員370，馬113，馬車50。
師團衛生隊： 人員376，馬47。
野戰醫院： 人員239，馬87。
病馬廠： 人員48，馬11。
兵器勤務隊： 人員132。
總計全師團約12800人，步兵團約8700人。
（4）丙種師團情況：丙種師團下編兩個步兵旅團，每旅團下編四個獨立步兵大隊，以及工兵隊，通信隊，輜重隊，野戰醫院，病馬廠。人員：丙種師團的編制人員在不同時期變動極大，一般情況下，步兵旅團約為5100人，獨立步兵大隊為1270人，總計全師團約為11980人。
2、37制標準師團：轄2個旅團，每個旅團轄2個聯隊，每個聯隊裝備41式山炮4門，37炮4門，92步炮6門，重機槍24挺。1個炮兵聯隊，48門炮，其中36門38式75毫米山炮，12門100毫米炮。共計25375人。
3、37制特設師團：轄2個旅團，每個旅團轄2個聯隊，每個聯隊裝備41式山炮3門，92步炮6門，重機槍8挺。1個野炮聯隊，36門38式75毫米野炮。計21902人。
4、三單位制師團，又稱乙丙丁種師團。轄步兵團，步兵團下轄三個步兵聯隊，聯隊下轄三個步兵大隊與一個步兵炮中隊（四門步兵炮）。步兵大隊無炮兵小隊，炮兵聯隊為24－36門山炮或野炮，騎兵聯隊改為搜索聯隊，其他如輜重、工兵等後勤部隊也大為減少，編制人數為13000－18000人。
到了武漢戰役結束之後、由於戰場的擴大與戰爭消耗，日軍越來越多將三單位制師團與獨立混成旅團投入了第一線。因此、日軍進行了編制上的調整，將三單位制師團的後勤部隊予以補充，使總人數達到了1.5－1.7萬人。獨立混成旅團的步兵大隊改為轄四個步兵中隊與一個機槍中隊，總人數達6000-7000人。該編制僅限於一線部隊，守備部隊仍為原編制。另外又開始將四單位制師團改為三單位制。
1938年後，由於日本帝國主義在侵華戰爭中兵力消耗極大，其後組建的第二十一師團至第四十九師團均取消了旅團級建制，由師團直轄三個步兵聯隊，每個聯隊下轄三個步兵大隊，同時指揮炮、工、騎、輜重兵聯隊等單位，全師團定員減至1.8萬人，配備軍馬2065匹，步騎槍8940枝、擲彈筒216個、輕機槍216挺、重機槍54挺、平射炮18門、山炮12門等武器裝備，這種類型的日軍師團被稱為乙種師團。
六、其他——日本陸軍軍銜共計6等16級，即大將、中將、少將、大佐、中佐、少佐、大尉、中尉、少尉、準尉、曹長（上士）、軍曹（中士）、伍長（下士）、上等兵、一等兵、二等兵。日本陸軍也有元帥軍銜，但規定由日本天皇從戰功顯赫或資深的大將中選任，頒賜元帥封號，自明治維新後至1945年日本帝國主義投降，共有17位陸軍大將被天皇頒賜元帥軍銜。日本軍銜與有些國家不同的是，大尉、大佐、大將的領、肩章上都只有3顆而不是4顆星。在日本陸軍中，軍司令官常是中將或大將軍銜，師團長多是中將軍銜，旅團長多是少將軍銜（也有個別是中將軍銜的），聯隊長多是中佐或大佐軍銜，大隊長多為少佐、大尉軍銜，中隊長多為中尉軍銜，小隊長多為少尉軍銜。
對於步兵來說，中隊長以下的軍官是徒步行軍的，而中隊長以上的大隊長、聯隊長等都是乘馬的。
在步兵聯隊中，軍馬主要擔任兵器運輸與彈藥、補給搬運的工作。以九二式重機槍小隊為例，九二式重機槍重55公斤，因此每小隊編制有馱馬五匹（其中一匹為預備馬），除了背負機槍外，負責馱運彈藥時標準是每匹馬需要馱負四個540發彈藥箱，但是戰時考慮長期行軍的影響，實際上每匹馬以馱運兩箱為原則。
在炮兵聯隊中，以野炮而言若不計入火炮本身的挽馬，單單每炮的附屬車輛——彈藥車、觀測車、預備品車——就需要三匹挽馬。而就山炮而言，山炮分解後是由六匹馬以馱運方式運動，另外彈藥馱運馬每匹則馱運12發炮彈。