「爭兩浙不爭衢州，守兩浙不守衢州，意思是說，與敵人爭奪兩浙地區卻沒有攻下衢州，是把整個兩浙地區交給了敵人；守衛兩浙地區卻沒有能夠守住衢州，是把自己的性命交給了敵人。這兩句話是對衢州軍事地位的最好詮釋，後來三藩之亂中平定閩藩的戰事發展就以事實證明了這一點。
到了清代，中央政府不僅沿襲明代在衢州推行裡甲制，還在各縣城鄉實行以調查流動人口、維持治安秩序、防止人民反抗為目的的保甲制。到乾隆初年，裡甲制徹底瓦解，而保甲製成為集治安和賦役於一體的地方基層組織。
清初楓嶺營的設立和浙江總督的長期駐守，加上衢州鎮的設立，更使衢州這種強化軍事的趨勢發展到頂峰。清代衢州眾多的軍事設施則是軍事重鎮的直接體現。
（一）衢州浙閩楓嶺營的設立（1654年）
據《浙江通志》記載，浙江為東南地區的屏障，州又為浙江的重鎮，而仙霞嶺又是衢州一府的要隘。仙霞嶺在江山縣南百裡，嶺上有石階路，有臺階360級，彎道26處，前後長達二十裡。
整條山路依山塹成驛道，依勢設立雄關，四周重崖峭壁，十分險要，堪稱東南險要之地。連接仙霞山的山嶺有座個，分別是窯嶺、茶嶺、大竿嶺、小竿嶺、梨嶺和楓嶺，其中楓嶺是浙閩兩省的分界。
連接仙霞山路的雄關有五座，分別為安民關、六石關、青塢關、木城關和二渡關。過了二渡關，就是江西永豐縣的地界。六嶺五關，都在這方圓百裡範圍內。可以說這「六嶺五關」形成了浙閩贛三省相交之處的交通要隘。
楓嶺關位於江山廿八都浙閩分界處，以嶺中多唐楓（即烏桕樹）而得名，地勢極為險要，與仙霞嶺連接，成為浙閩三要衝之一，極譽為浙江五大名關之一。楓嶺關原徑道是唐末黃巢起義軍所闢，現存關門一道。南端門高2.8米、寬2.1米、深1.9米，北端門高3.1米、寬2.8米、深1.9米。殘存關牆全長21米，上方已塌。
衢州雖已納入清政府的版圖，但是明將鄭成功在福建的勢力仍然相當強大，數次大敗清軍，其水軍還一度威脅南京。為加強福建、浙江邊界的軍力，防止明軍入浙，順治十一年（1654年），清政府下令組建楓嶺營，駐江山縣廿八都，隸屬處州鎮管轄。該營設從三品遊擊一員、正五品守備一員、正七品把總二員，計有兵丁1000名。
康熙十三年（1674年），正值三藩之亂，清政府又下令將楓嶺營擴編，主將遊擊下轄左、右二營，每營設守備、千總各一員，把總二員，兵丁750人。
雍正十三年（1735年），楓嶺營改屬衢州鎮，設遊擊一員、千總一員、把總一員，馬步戰守兵500人。至同治七年（168年）浙閩楓嶺營仍有馬戰兵276人，百子炮4門。又據《白雲山志》記載，光緒年間，又設提督一員，兼管浙江衢嚴楓嶺、水師巡江營。
（二）浙江總督的興廢（1658—1738年）
順治二年（1645年），清朝設福建總督，駐福州府，兼轄浙江。順治五年（1648年），浙江巡撫蕭元起平定衢州趙之超反清起義。鑑於浙西局勢嚴重，同年五月，清廷將福建總督更名為浙閩總督，移駐衢州府，兼轄福建，總理兩省軍政要事，下轄督標三營。
由於名將鄭成功在福建勢力大增，其水師北上舟山，南下廣東，為應對危局，順治十五年（1658年），朝廷分置福建、浙江總督，分駐漳州府與溫州府。浙閩總督在衢駐守前後十年。
康熙十一年（1672年），移福建總督駐福州府。次年，三藩之亂爆發；康熙十三年至康熙十五年（1674—1676年），江總督李之芳駐衢平叛。康熙二十三年（1684年），裁浙江總督，以福建總督兼轄；康熙二十六年（1687年），更名福建浙江總督，俗稱閩浙總督。雍正乾隆年間雖有短暫的反覆，又分置福建、浙江兩總督，但時間都不長。
清初浙江總督的反覆設置，並兩度駐衢，對穩定戰亂中的浙江，乃至福建局面，是有積極意義的。
（三）衢鎮總兵的設立（1735年）
為了鎮壓衢州軍民的抗清鬥爭，早在順治三年（1646年），衢州府城設總兵官一員，統兵三千，總兵駐府山。後來，衢州局勢平穩，總兵的設置撤銷。順治六年（1649年一說在順治五年），衢州駐軍改為協鎮副將，統左右二營。
每營設都司僉書、守備各一員，千總二員，把總四員，馬步戰守兵共1600人，隸屬溫州鎮管轄。康熙二十三年（1684年），衢州協城守營擴編，增設中營，有中、左、右三營，兵員共2600人。康熙四十九年（1710年）衢州協城守營改隸處州鎮管轄。
雍正十三年（1735年），工部尚書徐本、浙江總督程元章等聯名上奏:衢州地處三省交界，為江西、福建的咽喉門戶，緊要地方，副將不足彈壓，請求朝廷將衢協改為鎮。閏四月，朝廷下詔，改衢州駐軍協副將為衢州鎮總兵。
設總兵官一人，轄鎮標中、左、右三營，有遊擊、都司、守備、千總、把總等官，馬步戰守兵丁共2057人。除轄鎮標外，衢州鎮總兵還兼轄嚴州（今建德）協左、右兩營，楓嶺營、衢州城守營等。
雍正《浙江通志·兵志二》記載了衢州鎮的編制:衢州城守營，駐衢州府城966人；分防龍遊縣、常山縣、開化縣及江山縣城690人，分防樟樹潭、大洲、西安、溪口、杜澤、鳳林各汛共計269人，分防龍遊溪口汛55人，分防華埠、七都球、草萍各汛196人。
嚴協城守營，下轄左、2營，每營設都司、守備、千總、把總等官，分防建德縣、淳安縣、分水縣、遂安縣、壽昌縣及桐廬縣各汛414人，分防淳安威平汛23人，西路安設路一處2人，南路安設路六處22人，巡緝東港、西港江洋往來、稽查墩臺14人。
浙閩楓嶺營，營設遊擊、千總、把總各1人，駐廿八都500人，廿八都兼溪口汛169人，分防仙霞關118人，分防峽口102人，分防清湖88人。金華協蘭溪營，分防蘭溪縣汛92人，防湯溪縣汛以上合計3720）清代浙江水陸提督節制五鎮，即定海鎮、海門鎮、溫州鎮、處州鎮、衢州鎮。乾隆年間，全國共設有六十六鎮，衢州鎮是其中之一。