抗日戰爭時期，國軍中有一支「特殊」的部隊，他們手持精良的外械衝鋒鎗，並排布置在前線作戰部隊的後方，卻很少參加戰鬥，因為他們的職責僅是「督戰」，其主要負責維持部隊紀律，保障命令的順利執行，是名副其實的部隊中的「警察」。
後來因為作戰需要，蔣介石將憲兵部隊擴充為戰鬥單位，其職責也逐漸被後來的軍統所替代，就這樣，這支裝備精良的憲兵部隊正式開赴戰場。在南京保衛戰時，憲兵第二團、第十團、以及教導團一併被編入南京衛戍軍的戰鬥序列，並與攻城日軍展開了激烈的戰鬥，大大殺傷了敵人的有生力量，但自己也損失慘重。
當時的憲兵司令名叫谷正倫，他是貴州安順人，早年曾到日本陸軍士官學校就讀時，受到孫中山先生和黃興等人的進步思想的影響，參加了同盟會，後在學業未滿時，仍請假回國追隨黃興參加革命。1913年的「二次革命」失敗後，由於谷正倫善於見風使舵、投機鑽營，很快他就拋棄同僚，重返日本復讀。畢業後，谷正倫返回家鄉貴州，追隨黔軍總司令王文華。
後來，王文華將軍被部將袁祖銘派來的刺客暗殺，黔軍頓時陷入了群龍無首的地步，為了爭奪一把手的位子，谷正倫和何應欽展開了一番激烈的「較量」，雖然當時何應欽的勢力要比谷正倫雄厚，但他還是小看了谷正倫的手段，最後，何應欽被逼得只能化裝成一個修女，然後藉此逃出貴陽，前往昆明避難。在趕走了何應欽之後，谷正倫順勢接手了黔軍，被孫中山先生任命為「中央直轄黔軍總司令」。
北伐戰爭結束後，谷正倫傍上了蔣介石的大腿，被其任命為南京衛戍司令兼憲兵司令，當蔣介石來到憲兵部隊訓話時，他總是十分筆挺地站在蔣介石的身邊聆聽教誨，儼然一副「總管」架勢。後來，他的這種恭順態度，得到了蔣介石的器重和信任，也正是因為十分「聽話」，谷正倫的憲兵得到了優先補充武器裝備的特權，為後來成為「精銳」打下了堅實的基礎。
抗戰爆發前，谷正倫控制的南京衛戍部隊和憲兵部隊，共同與中統特務配合，殺害了大量的進步人士，犯下了不可饒恕的罪行，尤其是在黃巖，當地百姓更是對他恨之入骨，並將其稱之為「谷屠戶」。淞滬會戰結束後，蔣介石任命唐生智為南京衛戍司令，作為「御林軍」的憲兵部隊也被劃歸唐生智指揮，共同參加了南京保衛戰。南京陷落敵手後，谷正倫率領憲兵部隊的殘部退至湖南長沙，並被升任為第六戰區副司令長官。
解放戰爭後期，谷正倫帶領親信逃往香港，隨後轉道去了臺灣，來到臺灣後，谷正倫被蔣介石安排了一個「閒職」，為此他整天鬱鬱不樂，無聊之際，他開始信奉起了天主教，每逢星期天都要到教堂裡祈禱，最後於1953年11月30日，因胃癌在臺北病死，時年64歲。