第二次世界大戰中，納粹德軍給人們的印象：德軍大批裝甲部隊發動「閃電般」凌厲攻勢，並橫掃歐洲大陸的，機械化無疑成為了戰爭初期德軍勝利的法寶。但令人難以置信的是，真正驅動納粹龐大戰爭機器的不僅僅是坦克鐵輪，大批結隊而行的戰馬也功不可沒。
整個二戰期間，德軍馬匹總數保持在110萬左右，正是這百萬軍馬維持著德軍的千裡戰線。德軍1943年之前的舊型德國步兵師，每個師擁有大約5300匹馬、1100輛馬車、950輛汽車和430輛摩託車。不過這當然大多是用於後勤，而作戰部隊德軍的騎兵情況又如何？要知道二戰中最著名的笑話就是「波蘭騎兵砍德國坦克」。
因為二戰開始時，德國崇尚機械化「閃電戰」，因此以前戰場上大量出現的騎兵部隊，可以說幾乎被德國人拋棄，1936年4月1日，德國國防軍只有一個騎兵旅：原稱為第5騎兵旅，後改稱為第1騎兵旅。1939年10月25日，第1騎兵旅開始著手擴張為騎兵師。
蘇德戰爭開始前，國防軍第1騎兵師又做了火力強化，給每個騎兵營增設了2門37毫米反坦克炮和6門75毫米步兵炮；炮兵團也增設了一個105毫米榴彈炮連（4門火炮）；師直轄的反坦克連也擴充為營（36門37毫米反坦克炮）。
但是和一流的野戰步兵師相比，國防軍第一騎兵師的火力還是顯得很弱，只能算是輕裝機動部隊。蘇德戰爭爆發後，第1騎兵師在戰場上被證明經不起嚴重火力戰的考驗。1941年11月28日，第1騎兵師被轉行，開始準備用來組建第24裝甲師。
國防軍唯一的騎兵部隊都被改成裝甲師，因此德國陸軍已經沒有了大型成建制的騎兵部隊。但是後來在東線，尤其是德軍中央集團軍群，其所作戰的白俄羅斯和俄羅斯中部地區，有大量步兵和機械化部隊都難以通過的森林沼澤地帶，只有騎兵才能進入。這樣的戰場環境又需要一些騎兵擔任後方警衛和反遊擊戰的任務。
於是德國人無奈開始利用蘇聯俘虜組建了一些騎兵警衛部隊，他們吸收了不少白俄、哥薩克等外國志願者組建騎兵部隊。這支德軍哥薩克騎兵外籍自願軍騎兵部隊於1943年建立，由僑居德國的哥薩克移民以及叛變的頓河哥薩克人組成，由馮.潘維茨將軍指揮。
1944年夏天該騎兵部隊由2個旅升級為第1、第2哥薩克騎兵師（名義上隸屬武裝黨衛軍），同年112月由這2個師又建立了第15哥薩克騎兵軍，一些德國軍官被安置到該部隊中，該支騎兵部隊雖然名義上屬於黨衛軍，可是從來沒配屬給過黨衛軍。
該騎兵軍主要被配屬到南斯拉夫的德軍E集團軍群掃蕩遊擊隊，一部分後來參加諾曼第戰役，結果全軍覆沒。1945年5月他們向英軍投降後，又被移交給蘇聯，這些「叛徒」們的悲慘結果可以想像得到，該騎兵部隊的軍長和所有軍官都被槍決，士兵送進集中營。
這些可憐的哥薩克騎兵不僅被蘇聯報復，其實連德國人也沒有相信過他們，因為畢竟不是德國人，德國中央集團軍群的將軍也感覺一直不是很放心。因此在1942年4月24日，德軍中央集團軍群就再次組建了自己的「中央」騎兵旅，其下轄包括3個騎兵團，每個團有4個騎兵中隊。
1944年3月，德軍的這支「中央」騎兵旅被改組為第3騎兵旅，由2個騎兵團6個營組成，有1個輕型火炮營和第177強擊火炮營。戰爭尾聲，這支第3騎兵旅被擴建為第3騎兵師，最後向美國人投降，得以保全性命。
而德軍黨衛軍也另外組建過一些騎兵部隊，黨衛軍在1941年時有23個騎兵團，但這些騎兵團的主要任務是騎術訓練和維持治安。蘇德戰役開始後不久，一個黨衛軍騎兵旅被派往前線，其主要任務是在德軍戰線的中部和南部地區作戰，同時也打擊後方的遊擊隊。
1942年6月，該旅被擴編為黨衛軍騎兵師，支援在史達林格勒的第6集團軍，執行側翼掩護和撤退任務。1943年末，撤回波蘭，隨後退至南斯拉夫。1944年3月，該師被派往匈牙利，在那裡該師編為黨衛軍第22騎兵師，與黨衛軍第1騎兵師一起參加了特蘭西瓦尼亞防衛作戰。
但德國騎兵部隊依然在戰場上是一支非常不起眼的存在，1944年末德軍這個騎兵師和德軍其他部隊一起被包圍在布達佩斯，並在該戰役中損失殆盡。這個騎兵師的殘部後來又被合編為黨衛軍第37騎兵師，在奧地利最後反擊蘇軍的戰鬥中又被全殲。
黨衛軍好像比國防軍更喜歡成建制的騎兵師，他們先後還組建過弗洛裡安-蓋爾第八騎兵師，武裝黨衛軍第33匈牙利第三騎兵師，但這支匈牙利志願者組成的騎兵師，由於人員裝備短缺很快便被解散，這個番號給了另一支黨衛軍法國志願者部隊，甚至該師連標誌都沒來得及設計。
縱觀二戰德軍，不管黨衛軍還是國防軍的騎兵部隊，說實話，對戰爭局勢並沒發揮什麼作用，和其他的裝甲師和擲彈兵師無法相提並論。騎兵們甚至在機械化作戰的新戰場環境下，大多顯得無所適從，因此只能被用在巡邏偵察和打擊遊擊隊這樣的副業上。