抗戰爆發後，由於國民黨軍隊長期忽視政治工作，擾民事件時有發生，這就加深了軍民之間的矛盾。面對民眾的冷漠，馮玉祥不禁十分困惑：「為什麼北伐的時候，我們的士兵在前線打仗，後方的民眾便送茶，送水，送稀飯，十分的殷勤？為什麼我們現在在前線抗敵，我們戰壕裡的將士有一兩天不見飯的，而後方的民眾老是不管？」而蔣介石也意識到：「政治工作效能太差，未能予前方戰爭以確切有益的協助」。
1938年1月，周恩來向國民黨提出了改進軍隊政治工作的建議。他指出：「改造軍隊最重要的一環，就是建立革命的政治工作制度。只有在抗戰軍隊中把政治工作實際地建立起來，才能把民族抗戰的戰鬥力提高，才能把官與兵、軍與民聯接成一條心」。具體說來，應從幾個方面來進行：
（一）向每個部隊的全體官兵實施革命的政治教育；
（二）努力注意改善士兵待遇及生活；
（三）建立革命軍隊自覺的革命軍風紀；
（四）保障軍事指揮員在軍事行政上命令的貫徹執行；
（五）全體政治工作人員以身作則的模範作用。
周恩來的建議切中要害，所以被國民黨接受。1938年2月，國民政府軍事委員會將第六部（民眾組訓部）和政訓處改組為政治部，由陳誠任部長，周恩來、黃琪翔任副部長。政治部恢復後，即著手健全部隊各級政工機構的設置，規定「原有各部隊政訓處一律改為政治部，並予各連增設政治指導員，普及政治工作」。11月，陳誠更明確定位了政治工作的對象和目的：「對軍隊應以提高士氣，撫養傷病，防止逃亡為目的。對民眾應以收攬人心，安輯流亡，不擾民，不拉夫為原則。對敵偽應以清除漢奸，毀滅偽組織，瓦解偽軍，搖動敵軍為目的。」
在此期間，全軍各級政工機構均在短時間內設立完畢，政工隊伍也得到迅猛發展。1940年，政工人數已飆升至近3萬人，比抗戰前增加近十倍，隊伍素質亦有一定提高。在許多部隊，官兵對政工幹部的觀念發生了變化，「已從官兵對政工人員輕視仇視到重視，從軍政對立到軍政合一，政工人員的地位已比戰前提高了」。因此，「政工人員幹勁也較大，對提高士氣，鼓舞民心起了一定的作用」。尤其是在共產黨員的積極參與和帶動下，抗戰初期國民黨軍隊政工有了不小起色。這一階段，「全國部隊從未發生背叛主義與投降敵偽之情事」，「多數部隊犧牲甚大，官兵多願樂從，且產生無數忠勇故事」。
但很快地，國民黨軍隊政工再顯疲沓。這主要是以下原因造成的。
第一，清除了政治部中的共產黨員。抗戰初期，共產黨員的加入給國民黨軍隊政工帶來了蓬勃朝氣，但由於他們佔據政治部的大多職位，遂招來嫉恨。賀衷寒即曾說：「政治部過去因容納各黨各派參加工作，故異黨分子反有喧賓奪主之勢，計總部全部人員六百七十餘人，國民黨員僅一百四十八人，僅佔四分之一弱。」這當然是國民黨不能容忍的，於是勒令政治部第三廳的共產黨人退出。此後，國民黨政工人員的素質急劇下降。1939年2月，蔣介石在南嶽政工會議上批評第九戰區政工人員平時教士兵奮鬥犧牲，但「到了自處前線，形勢緊急的時候，就膽怯心驚，甚至藏起身來!」6月，軍令部部長徐永昌也指責政工人員「無愛國之中心思想，遑論工作效能」。當時甚至還發生過這樣的事：某部隊政工人員，經常向所在部隊長官借錢，引起其無限厭惡與憎恨，而一旦「借錢到手，隨意揮霍，甚者挾妓冶遊，酒食徵逐。這類行為都足以引起所在部隊官兵之卑視」。其素質之低劣由此可見一斑。
第二，政工人員與軍事主官的關係未理順。這一時期，國民黨政工人員的地位雖有改善，與一些軍事將領的關係有所好轉，但仍潛藏著內在的緊張。因為軍隊政工自成系統，受上級政工機構直接領導和管理，與部隊長官無隸屬關係，「在階級方面，政治人員與部隊長官不相上下，在職權上確定政工人員有參加命令通告意見、軍法會審、以及經費審核特權」。而部隊長官往往有經商、走私、吃空額等腐敗行為，因此對政工人員心存戒懼甚至仇視。但陳誠為了避嫌，一再約束政工。1939年2月7日，他要求政工人員自省，「我們政工人員對部隊長官相處的關係惡劣，自己至少要負一半責任」。12日，他重申「不可與部隊長官取對立的態度」。11月，陳誠又下令告誡政工人員：「各級應接受同級主官，例如軍政治部主任應接受軍長之指揮與指導，不得有對之摩擦之行為」，「軍隊政治工作應以訓練官兵並為社會服務為唯一之工作，絕對不許用特務工作方式專事報告」。所言種種，無一不是對政工人員加以約束。
這種觀念還普遍存在於國民黨軍方高層中。如徐永昌亦主張「軍隊政工人員應重政治工作，不應重監視部隊，應加給部隊長以督飭政治工作之責」。於是在此情勢下，1939年的南嶽政工會議通過決議強調：一、各級政工人員應與部隊主官一致進退，並須有冒險犯難的勇敢精神，不得畏難苟安。二、應受同級部隊主官之指導。三、政工人員對象應認識清楚，應以服務社會為目的，不可以專事報告部隊情形為務。四、同志間應有互切互磋親愛精誠之精神，不得攻訐。很明顯，這些規定主要是限制政工人員。
針對政工人員與軍事主官之間的矛盾，蔣介石採取各打五十大板的辦法，認為一方面由於帶兵官猜疑，另一方面由於政工人員本身的缺點。所以他雖然要求部隊主官尊重政工人員，但並未從制度上對政工人員的地位給予保障。
在這種艱難處境下，部隊政訓工作的效果自然大打折扣。政工人員在開展工作時，因地位關係，對士兵要求，只能負責轉達而無直接解決之權，常因說話不能兌現而使士兵失望，而減失信仰。這就嚴重影響了其工作積極性，導致政治工作滑坡。
面對這一狀況，蔣介石極為不滿。1940年3月，他電告陳誠：「現在政工效率實鮮成效，亦並無特殊表現，則其有若無，殊失設立政工之用意，非設法改良不可。」7月，他又在全國政工會議上嚴詞呵斥：「老實說我們的政治工作像現在這樣散漫廢弛的情形，如長此下去，不加改正，以致對軍隊對官兵對社會民眾，甚至對於我們自己，都失掉了信用，那我們政治部，真是有不如無!」
1940年9月，蔣介石以張治中接替陳誠的政治部部長一職。張治中推行政工改制，撤各軍政治部，重新設立師政治部，恢復及充實連指導員。抗戰初期雖曾規定設立連指導員，但因大批幹部一時難以訓練完成，其實並未普遍成立。即使有的部隊曾派有連指導員，但集中在團部工作，亦未對士兵進行政治教育。而此次則明確要求「分期增設連指導員，以軍校出身或優秀之連附、排長選充之」。
這次政工改制的最大變化在於制度上合軍政為一體，規定各級政工主官由部隊副主官兼任或由政工主官兼任部隊副主官，具體做法是：師政治部主任由副師長兼任，或增設副師長一人，由師政治部主任兼任；團指導員由副團長兼任，或增設副團長一人，由團指導員兼任；連增設連附一人，由連指導員兼任。
1943年7月，蔣介石曾表彰：「在這一次鄂西會戰之中，我們軍隊政工人員有許多都是與部隊出生入死，共同進退，到了危難的時候，且能指揮作戰，衝鋒陷陣，表現了不少英勇壯烈的事跡，這實在是革命軍中對抗戰前途最為樂觀的一件事。」他還表示：「此次我最覺愉快的一件事，就是一般政工人員——尤其是低級政工人員能夠在前線奮鬥自強，而且能代替部隊長指揮作戰，這種精神，可以說足使北伐時代政工人員的效能已快恢復了，實在是近十年來所少見的事。」
但時隔不久，蔣介石又失望了。1943年12月，他便十分生氣地說：「抗戰以來我們軍隊的靈魂在那裡？核心是什麼？我們自問一下，可以說根本就沒有核心，亦沒有靈魂!」1945年3月，他在陸大甲級將官班開學典禮上又說：「我今天要告訴你們：我自從革命帶兵，二十年以來，從來沒有受過今天這樣的恥辱——現在一般外國人對於我們的軍隊……大多數都是冷眼旁觀，對於我們存著一種極端鄙視的心理!甚至於把我們中國的軍隊當作烏合之眾，比之於土匪和乞丐!」顯而易見，蔣介石對軍隊精神狀態非常不滿。這也說明政工改制並未達到其預期效果。
究其緣由，政工改制實行軍政交流，只是藉助擔任軍職來提升政工人員的威信，但其職權並未擴大。在這種情況下，軍事主官在觀念上並未改變對政工人員的輕視，政工改制也沒有根本改變政工人員的處境。相反地，由政工人員兼任部隊副主官，在部隊主官看來，有隨時接替他的可能，更引起其戒備。與此同時，政工人員的素質反而日趨下降。因為副師長兼任政治部主任，而副師長人選大多由師長推薦，以致改制後，新任副師長兼政治部主任多以部隊中之軍屬或附員轉任政工幹部，其中才具足用能力勝任者固不乏人，而濫竽充數尸位素餐者亦在所難免。1944年，蔣介石便說：「現在部隊裡面的政治工作之所以缺乏效率，就是因為有許多政工人員本身就不健全，威信不能樹立，以致地位日益低落，士兵自然不願受他們的領導。」
時至1945年，張治中終於認識到政工改制的弊端。他說：「政工改制之本意，原為謀軍政之交流，促進新陳代謝之作用，以排除老大暮氣之缺點，但實施以來，因過去積習太深，不惟高級軍官多不願轉任政工，即軍校出身之初級軍官，亦視政工為毫無出路之工作而加以鄙棄。」他還感慨：「政工雖有二十年之歷史，但迄今制度尚未確立，政工人員在部隊中亦無明確之地位……以致從事政工愈久，則其個人之前途愈覺黯淡，而一般軍官，均視政工為畏途。」在這種情況下，普設連指導員這一目標自然無法完成。至於原先制定的各項政工計劃，「經過檢查結果，能夠完成的是很少，不能完成的則屬多數」。
對這次政工改制的挫折，張治中後來還回憶：「抗戰愈至末期，政工本身力量與客觀原因相互激蕩，矛盾愈益加深，困難愈益擴大，以致缺點畢露，功用盡失，所以到一九四四年夏又準備變更制度，撤銷團連指導員，改設軍中文化教育服務隊，政工的基層工作以教育和服務為重點。軍、師政工主官不限於以部隊副主官兼任，還可配用非軍官出身的人員充任。」這等於是宣告了政工改制的失敗，政工人員的地位再次一落千丈。國民黨軍紀亦隨之蕩然無存，敗壞到了極點。