中央軍校教導總隊顧名思義就是隸屬於中央軍校的教導部隊，教導部隊在國軍軍隊中有一種示範性質。最新的裝備、訓練課程與部隊編裝往往先由軍校實驗。中原大戰結束之後，國民政府於1931年1月令中央軍校開始著手以德國顧問的規劃編組教導總隊，最初編制兩個步兵營及炮兵連、工兵連、騎兵連、迫炮連、特務連及通信連。部隊由原教二師特務營、炮兵團、工兵團、騎兵團各一部、軍校衛兵隊抽出考編。這個團級部隊主要用於德式步兵團編裝之試驗以及新武器的研究。兩個步兵營規模不大，而且缺乏實戰經驗，主要用於編裝實驗；炮兵連操作德造博福斯山炮；工兵連以新配器械演練架橋、築城、爆破（鐵材、木材及混凝土之各種類型）；騎兵連逐漸操作機踏車輛；通信連以有線電之布設為主。
教導總隊後來擴為三團制，並列為一九三五年德械師第一期整訓部隊，所有德式武器均優先裝備，軍隊整訓均由清一色德國教官擔任，接受的是最新式的德國陸軍戰術訓練。因此其作戰能力非一般部隊可比，堪稱當時中國軍隊精銳中的精銳。
1937年7月7日抗日戰爭全面爆發，在作戰期間，教導總隊奉軍政部命令擴為三旅六團制甲種師。教導總隊此時已有的三個團完全是德械裝備與編裝，步兵團有三個步兵營以及第十連（編有IG18-75輕步兵炮，三排六門，射程5400m），第11連戰防炮連裝備47奧造平射炮，第12連通信連，第13連輸送連。步兵營轄步兵三連、重機槍連、82炮排及通信排。總隊原本即儲藏大量裝備，所以擴編的六個團有三個團在後方整訓，僅有三個團參戰。
抗戰爆發後，教導總隊由副總隊長周振強率領參加淞滬會戰。總隊長桂永清當時正在英國參加英王加冕，聞訊後急忙回國。九月回國後卻接到命令要求桂永清調教導總隊入四川擴編成為第二期準備軍，用來固守長江上遊。桂永清返回總隊之後立刻召集營長以上軍官開會並慷慨陳詞：「擺在我們面前有兩條路，一是到後方擴軍，大家升官，我升集團軍總司令，你們營長升團長，團長升師長，旅長升軍長。另一條是到前方作戰犧牲。長期以來，其它部隊拿國難薪，只有我們拿全薪，論裝備我們是全新德式。現在全國部隊紛紛請纓參戰，我們卻要到後方擴編，雖屬命令，捫心自問，能無愧疚？別人一定說我們怕死畏戰。養兵千日用在一朝，我現在請各位表決……」。結果全體軍官一致要求上前線抗日。桂總隊長馬上報告蔣委員長及何應欽部長，於是蔣介石將總隊擴編的三個團調到湖南擴建，總隊主力得以調入淞滬戰場。
十一月六日桂永清率領教導總隊主力到達上海，直接投入蘇州河畔八字橋陣地接替第一軍陣地，桂永清與參謀長邱清泉均在第一線巡視，教導總隊死守陣地不退，日軍乘坐橡皮艇進行強攻，又被殺的血流成河。直到十一日金山衛被突破消息傳來，總隊才奉命撤退。接著又投入到南京保衛戰當中。十二月七日，日軍攻抵南京光華門前，教導總隊奮起抵抗。第二天教導總隊第二團吳幼元營長因日軍空襲受到重傷，第二團團長謝承瑞親臨督戰。並要求第二團官兵效法嶽家軍精神，奮力抗擊日寇。
在教導總隊的主戰場紫金山，五名守軍營長先後陣亡，教導總隊士兵傷亡殆盡。第五團鄧文僖團長下令退出紫金山之後率部堅守最後陣地天堡城，桂永清總隊長親到天堡城督戰，宣稱與陣地共存亡。十二月十一日下午六時，唐生智召集守軍各部隊長官並下令撤退。桂永清離開陣地赴會，會議結束之後桂永清派人通知各團長撤退，自己就先前往下關渡江。這就是大家爭議很久的桂氏臨陣脫逃的說法。其實桂永清總隊長也堅持到了最後一天，部隊由團長帶領撤退亦在情理之中，只是他沒有料到撤退會如此慘烈。此戰過後教導總隊大部精銳損失殆盡。
教導總隊作為中國軍隊精銳，全體官兵們做到了以血肉之軀抗擊敵寇，保家衛國的軍人職責，在抗日戰場上留下了光榮的一頁。