張作霖決定聯直反馮，並不是他對直系有多少好感，而是形勢使然，1925年10月至1926年3月的民國局勢一片混亂。先是實力最強的直系在第二次直奉戰爭中被張作霖與馮玉祥聯手幹掉了，直接導致了吳佩孚直系勢力的土崩瓦解。繼之而起實力最強的就是張作霖了，可惜好景不長，馮玉祥與南方直系殘餘孫傳芳聯手，再加上郭松齡兵變，張作霖好好的一統江山局面頓時化為烏有，丟掉了江蘇、安徽、北京、直隸等地盤，實力也大幅下降，再次退回關外。至1926年年初，實力最強的勢力已經變成馮玉祥的國民軍了，此時的馮玉祥南與國民黨的廣東革命政府聯繫，北靠蘇聯老大哥，雄踞北方，虎視眈眈，正打算一戰而取山東，徹底打跨張作霖安在關內的棋子張宗昌。在共同的威脅面前，張作霖不得不與曾經左看右看也不順眼的吳佩孚聯手了。
吳佩孚雖然東山再起，但是卻沒有自己的嫡系部隊，藉助的主要還是蕭耀南的鄂軍。1926年2月14日，蕭耀南突然病卒。吳佩孚以「聯軍總司令」的名義任命陳嘉謨為湖北軍務督辦，杜錫珪為省長，至此才算真正掌握了湖北的軍政大權，擁有了自己的一支軍隊。此外，1925年年底，靳雲鶚從國民軍二軍嶽維峻手上收回了原為直軍，後被迫投降馮玉祥的田維勤、王為蔚、陳文釗三個師，兩方面的部隊相加，吳佩孚總體上已經擁有了一定實力。
1926年1月4日，吳佩孚在漢口召集軍事會議，討論「結束」討奉問題，將討奉改為討馮。1月26日，吳佩孚派鄂軍第一師寇英傑部由鄂北向豫南進攻。2月4日，靳雲鶚率部從魯南進兵豫東。與此同時，劉鎮華又重新依附於吳佩孚，並奉吳佩孚命令由陝西安康進攻豫西。
此時，國民軍二軍領軍人物胡景翼已經病死，原來的國民軍馮玉祥、胡景翼、孫嶽三角聯盟因為胡景翼的死而塌掉了一角。胡景翼的繼任者嶽維峻雖然仍堅持三角聯盟的政策，但其威信不足，國民軍二軍名義上有部隊七個師、二個混成旅、二個預備旅，但嶽維峻真正能依靠的只有鄧寶珊第七師以及另兩個混成旅。名義上依附國民軍二軍的樊鍾秀部，不僅佔地割據，且由於進攻張宗昌失敗，在新敗之餘戰鬥力大減。米振標的毅軍本來就是屬於吳佩孚的部隊，看到吳佩孚捲土重來，聲望很高，與嶽維峻更是離心離德，做好了兩手準備。此時的國民軍二軍形勢嚴峻，雖然兵多將廣，但在戰略上已被南邊的直系、東邊的直魯聯軍和北邊的閻錫山從三面包圍，可嘆嶽維峻自恃兵多，對嚴峻形勢依然認識不足。
吳佩孚派兵進入河南後，嶽維峻於1926年1月13日在鄭州召集緊急軍事會議，決定派陝督李雲龍為豫南總指揮。派蔣世傑率第十一師進駐信陽，加強豫南防禦；命李紀才部從魯豫邊界回師歸德，田玉潔部速從山東濟寧撤回鄭州。吳佩孚的北進，從客觀上減輕了山東張宗昌的壓力，從而扭轉了張作霖整體的頹勢局面。1月26日，寇英傑部猛攻河南信陽，遭蔣世傑部全力抵抗。寇部攻佔信陽火車站後遇到蔣部伏擊，傷亡慘重，遂退出火車站而包圍信陽城。29日，寇軍攻入信陽東門，又被守軍擊退。2月6日，寇軍又攻入信陽南門，但仍被國民軍二軍擊退。同一天，嶽維峻派田生春、楊瑞軒兩旅前去增援。但此時駐紮在信陽以北彭家灣的米振標部突然投降了吳佩孚，並派兵阻止田生春、楊瑞軒兩旅的增援。2月10日，吳佩孚因寇英傑久攻信陽不下，調劉玉春、宋大霈兩旅助攻信陽，使直軍又一次攻入城內。但是，田生春、楊瑞軒兩旅繞過米振標部而增援信陽，將直軍趕出。吳佩孚無奈，只好派兵一部，繼續圍城，而令寇英傑部令攻確山，以斷信陽後路。
1926年2月12日，靳雲鶚率部進攻豫東，從孫傳芳控制的徐州借路通過，沿隴海路進兵。2月17日，國民軍二軍駐商丘的郭振才部向靳雲鶚投降。2月19日，靳雲鶚與守柳河之國民軍二軍田玉潔部激戰，於2月21日攻佔柳河，25日攻佔蘭封。2月27日，河南軍務幫辦米振標迎靳雲鶚下屬王維城部進入開封。嶽維峻被迫向鄭州退卻。
直軍大舉進攻河南後，國民軍二軍急調鄧寶珊師、史可軒旅從直隸回援。2月中旬，鄧部趕到駐馬店，會同李雲龍、樊鍾秀等部抵抗寇英傑的進攻。但是，由於各部將領意見不一，李雲龍負氣率部返回鄭州。加上靳雲鶚進軍神速，先後攻佔了商丘和柳河，大軍壓境之下，鄧寶珊部十四旅旅長劉繼邦陣亡，駐馬店失守。3月1日，寇英傑攻佔郾城、許昌，進逼鄭州。
2月26日，嶽維峻在鄭州召集軍事會議，商議應急之策。李培蕡、鄭思成等主張全軍退往直隸，名義上仍為陝西督辦的李雲龍主張退往陝西。會議進行了三天竟然議而不決。這充分說明了胡景翼死後嶽維峻威信不足導致的被動局面，萬般無奈之下，嶽維峻決定分兵撤退，各部自行其是，這個決定給國民軍二軍帶來了滅頂之災。當時，國民軍二軍兵力尚有十萬之眾，如果全力迅速北撤，與國民軍一軍、三軍、五軍連成一體，完全有可能抗拒直軍的進攻並保存二軍的實力，在戰略上也是最可取的。但是，只有李培蕡、鄭思成、史可軒、高桂滋等旅於3月1日沿京漢線順利撤退。其他各部則因為種種原因而延誤了撤退時間。3月2日，靳雲鶚軍佔領鄭州。3月4日，寇英傑與靳部會師，嶽維峻乘火車逃至洛陽。3月5日，直軍攻佔洛陽、新鄉。與此同時，一直按兵不動的閻錫山突然從山西出兵佔領了石家莊，切斷了國民軍二軍諸部北上的道路，魏益三也突然變更旗號脫離了國民軍，從而造成了國民軍二軍的軍心動搖乃至崩潰。除原在黃河北岸駐防的弓富魁旅轉戰津浦線與國民軍一軍會合外，其餘各部均被直軍收編或潰散。
由於支持河南作戰，陝督李雲龍的大部兵力都調往了河南，留在陝西的國民軍二軍兵力不多，此時已依附吳佩孚的劉鎮華鎮嵩軍舊部柴雲升趁機攻佔潼關。王振部則趁機佔據了函谷關，完全斷絕了國民軍二軍西去陝西的退路。但李雲龍因為不願意失去其在陝西的地盤，仍堅持離開洛陽西撤往陝西，於是嶽維峻率十萬大軍蜂擁西奔。3月6日，軍心嚴重動搖、戰鬥力十不存二的國民軍二軍主力在陝州、靈寶一帶被紅槍會及劉鎮華所部擊潰，死傷積野。嶽維峻部將馮子明、胡景銓等被擊斃，7萬餘眾均被繳械。嶽維峻隻身渡過黃河逃入山西，被閻錫山拘禁。李雲龍化裝逃回了陝西。至此，國民軍二軍全數覆滅。
此時，蔣世傑部仍在信陽據城死守。他曾三次組織突圍沒有成功，直軍也一直沒能將信陽攻下。3月14日，蔣世傑在得知國民軍二軍全軍覆滅後才向直軍投降。他本人被吳佩孚聘為總參議，所部九千餘人被遣散。蔣世傑在信陽抵抗直軍進攻達48天，開創了民國軍閥戰爭史上孤城死守的先例。信陽城大半毀於戰火。居民被打死一萬餘人，被餓死四千餘人。全城居民人口由六萬餘人減至三萬餘人。
直軍佔領河南後，吳佩孚任命寇英傑為督辦，靳雲鶚為省長。至此，他完全控制了鄂豫兩省，聲勢大漲。
國民軍二軍的失敗，不僅使馮玉祥、孫嶽的國民軍一軍、三軍勢單力孤，而且失去了南面的屏障。吳佩孚的軍隊沿京漢線北上，長驅直入，與奉軍、直魯聯軍形成了對京津三面的圍攻之勢。可以說，吳佩孚指揮的河南之戰，成為扭轉整個戰局對比的關鍵。此戰之後，直奉聯軍已穩穩佔據上風，接下來，張作霖還要聯合吳佩孚繼續進逼國民軍，因此又發生了南口之戰。