1937年9月25日，在山西大同靈丘附近的平型關，八路軍取得出徵抗日的第一個大捷，集中優勢兵力伏擊日本號稱「鋼軍」的第五師團21旅團一部及輜重車隊約4000人，在歷經浴血奮戰後取得首戰勝利。
平型關
明治三十二年（1899年）畢業的士官候補生第11期中就出現了輜重兵畢業生，但由於執行的任務過於單調，不是戰鬥兵種，很難積累戰功，晉升軍銜通常要比其他兵種慢得多，人氣十分之低。日軍的輜重兵通常被自己人嘲笑，說什麼「輜重兵也能算是兵的話，那麼蜻蜓蝴蝶都可以算是飛鳥了」。而且由於
駝馬隊
為了確保專業人數，校方不得已強行命令部分軍校生選修該兵種。在昭和六年（1931年），輜重兵曾經一度更名為「特務兵」，不過到了昭和十四年（1939年）又再次恢復為原來的「輜重兵」。
輜重兵部隊由於其任務性質，通常附屬於編制相對較大的部隊。一般以隸屬於師團的「輜重兵聯隊」的形式來執行任務。只是，在師團編成當時，以聯隊規模編成的只有步兵和炮兵，其他兵種的騎兵、工兵、炮兵等均以大隊規模編制。在實行「聯隊制」後，師團內兵種部隊一律統一為聯隊規模編制。隨著侵華戰爭規模不斷擴大，師團也不斷地增加，任務也變得多種多樣化，因此輜重兵部隊不再以「聯隊」名義進行編制，而是多數更名為「師團輜重隊（相當於大隊規模）」。在陸軍戰車師團和部分獨立混成旅團中，編制「輜重隊」。
輜重兵不屬於戰鬥兵種，但在兵力不足時，也會擔任警衛警戒任務，並進行輔助步兵的任務。因此，輜重兵通常裝備比普通步槍短些的騎槍。這說明日軍輜重隊是很有戰鬥力的，訓練不訓練不一樣的。
輜重兵往往被分遣到相關部隊中，此時任務性質通常會隨之發生變化。有時候會裝備小口徑炮充當臨時炮兵，有時候被分配到步兵部隊中，執行和步兵相同的任務。
在平型關戰鬥中，日軍第五師團遭八路軍一一五師伏擊的就主要是輜重兵，包括1個「大行李」隊、1個汽車中隊和護衛的1個小隊，所以才被「擊毀汽車100餘輛，馬車200餘輛，繳獲步槍1000餘支，機槍20餘挺，火炮1門，以及大批軍用物資。（日本防衛廳防衛研究所戰史室：《中國事變陸軍作戰史》，第1卷第2冊52頁）