金兵、盜賊、潰兵是南宋初年宋軍所需要面對的三大難題。金兵之患，在整個建炎年間都非常激烈，後因金人立劉豫為偽齊皇帝，使之成為宋金兩國之藩屏，金人暫緩了對宋朝的進攻，一定程度上給了宋朝以喘息之機。加之偽齊剛成立，需要穩固和壯大自身實力，故紹興初年，宋邊境並無較大規模的戰爭，著重點亦可放在剿撫境內遊寇與土賊上。金廷主動放棄與南宋的正面衝突，到紹興改元後，金人之患，已不甚劇烈。不過，金人南下帶給了中原及江南百姓嚴重地創傷，加之南宋潰兵問題愈演愈烈，使得紹興改元之後，盜賊、潰兵問題成了南宋軍事重建面臨的重大問題。
經過建炎四年的發展，宋境內的諸股反叛力量亦有變化，前期反叛力量分散、數量眾多，至紹興初，諸股力量漸漸融合，叛亂數目呈現下降趨勢。當時境內比較強大的叛亂勢力主要為江淮的李成，湖南、江西的曹成，福建範汝為，還有洞庭湖地區的農民起義軍鐘相、楊麼。
對於這些強大的勢力，宋廷在剛開始一般採取招安政策，實際上對於叛亂勢
力的處理方式無非是剿、撫與剿撫並用三途，招安不成，再行圍剿。但南宋初期圍剿方案的施行權力並不在高宗手中，圍剿的結果也要取決於各大帥。而諸大將帥正是利用這一機會，進一步壯大自身實力。
在紹興初年，神武前軍統制王燮招編李捧、華旺、韓世清等人；韓世忠平定範汝為叛亂，納水軍統制張崇、耿進所部。招馬友、曹成之眾；劉光世接受淮西諸盜的歸降；張俊圍剿李成等。
至紹興二年年底，境內已有大軍一十九萬人：其中「張浚軍三萬，有全裝甲萬副，刀槍弓箭皆備；韓世忠軍四萬；嶽飛軍二萬三千；王王燮軍一萬三千，雖不如浚之軍，亦皆精銳。劉光世軍四萬，老弱頗眾，然選之亦可得其半。又神武中軍楊沂中、後軍巨師古，皆不下萬人。而御前忠銳如崔增、姚端、張守忠等軍亦二萬。」境內兵力大盛，但這其中中央所能掌控者，不過神武中軍與御前忠銳軍而已。
紹興三年開始，神武軍便名副其實，神武五軍地位不等，其中尤以實力最強的張俊和韓世忠地位最高。在紹興三年四月，韓世忠便實際上脫離了神武軍，其地位被提升到神武諸軍統制之上。
而六月，神武后軍統制巨師古便因不聽韓世忠節制被貶。其被貶之後，武泰軍節度使權主管殿前司郭仲荀兼神武后軍都統制，實際上神武后軍也由朝廷掌控了。神武五軍，中央控制住最弱的神武中、後兩軍。
除了中、後二軍外，神武右軍都統制張俊亦和朝廷走得比較近。故中央對其亦是百般照顧，在紹興三年九月之時以忠銳第九將史康民，第十將王林所部益俊軍，又令第二將張守忠受俊節制。在紹興三年七月，又將「神武后軍及御前忠銳十將軍馬皆撥付張俊。」⑧除拔隸御前忠銳軍外，中央還將神武后軍在行在的八千人全都拔隸張俊。紹興四年四月，以忠義軍李橫、牛皋、董先及其萬五千人歸於張俊，中央再次擴充張俊兵馬。這一目的就是為了使張俊與各自擁五萬重兵的韓世忠和劉光世抗衡，以起到互相牽制的作用。在中央禁旅單弱的情況下，中央必須讓諸將保持實力相當，互相制衡，這樣才能維持政權穩定。
因此對於嶽飛等人的過河拆橋也就不足為奇了。
參考資料
【1】宋史