開展敵後抗日遊擊戰爭，必須建立和發展抗日根據地。如果不在敵後建立起根據地，遊擊戰爭是不能夠長期地生存和發展的。抗日根據地就是遊擊戰爭的後方。建立和發展抗日根據地的基本條件，一是要發動並組織廣大抗日軍民進行抗日根據地各方面的建設，建立鞏固的抗日民主政權，二是要發展抗日武裝，使用這支武裝發動和組織廣大群眾，戰勝敵人的進攻。
在清河區各級抗日民主政府建立的同時，清河地委根據中共山東分局關於重視地方抗日武裝建設的指示，要求全區各縣建立地方抗日武裝(各區建立中隊，各縣建立縣大隊或獨立營)，配合主力部隊開展平原遊擊戰爭。
八路軍主力部隊、地方武裝和民兵這三種形式的武裝，是組成抗日根據地的支柱。它們既是根據地的創造者，又是根據地的保衛者。1940年1月，為利於主力部隊機動作戰，和加強地方武裝建設的領導，八路軍山東縱隊命令清河區成立八路軍山東縱隊第六軍分區(又稱「第三支隊後方司令部」），馬千裡任司令員，景曉村兼政委，許雲軒任參謀長，張振一任政治部主任。抽調第三支隊基幹二營六連、壽光獨立團特務連及高苑第三大隊等近1000人，組成第六軍分區的直屬部隊。
軍區(軍分區)的基本任務是按照建立主力部隊、地方武裝與民兵(包括自衛團等)三位一體的武裝力量的指導思想，統一對當地地方武裝和民兵的領導指揮，配合主力部隊作戰；執行群眾性、分散性、地方性遊擊戰爭的方針，整理與擴大自衛團，發展遊擊小組，實行根據地的戒嚴，如站崗放哨，盤查行人，建立情報網，嚴防奸細活動和偵察敵人情報；空舍清野，改造房屋和地形(如挖「抗日溝」等)，反「掃蕩」、反「蠶食」，保衛根據地。
11月，為加強對清河區地方武裝建設的領導，統一指揮各地方武裝配合主力部隊機動作戰，八路軍清河軍區建立(原山東縱隊第六軍分區撤銷)，楊國夫兼司令員，景曉村兼政委，陳楚兼政治部主任。清河軍區下轄清東、清西二個軍分區。清東軍分區：陳乙齋任司令員，韓克辛兼政委，王林任政治部主任；清西軍分區：張文韜兼政委，韓子衡任副司令員，畢秀清任政治部主任，各軍分區對外稱獨立團。各獨立團以各縣獨立營(縣大隊)為基礎組建，實行小團制，團以下不建營，直轄四——六個連。清河軍區成立後，逐步建立地方武裝，建立的各項制度，如教育制度、匯報制度、黨政工作制度等，統一管理教育，統一指揮作戰，並組織地方武裝源源不斷地升級補充主力部隊。
1940年底，在八路軍清河軍區的領導下，清河區的地方武裝及民兵建設有較快的發展。主要的有壽光獨立團(1940年底壽光獨立團升級編為八路軍山東縱隊第三旅九團後，壽光重建壽光縣大隊)、長(山)桓(臺)獨立營(劉井戰鬥後，在獨立營基礎上組建長桓縣大隊)、鄒(平)章(丘)齊(東)邊防獨立營、齊東獨立營，以及臨淄縣大隊、鄒(平)長(山)三大隊、鄒平二大隊、長山八大隊、廣饒四大隊、鄒長獨立營、益壽臨廣四邊六大隊、鄒長五大隊等。清河區青年救國聯合會領導建立了清河區青年營長山、益都、壽光、臨淄、廣饒等縣均建立青年武裝即青年中隊。這些地方武裝與民兵、自衛團組織，配合主力部隊，堅持對日作戰，襲擾敵人據點，破壞敵人交通、通訊設施，挫敗頑固派的進犯和日軍小股部隊的「掃蕩」，狠狠打擊了日本侵略者，大大鼓舞了清河區抗日軍民戰勝日本侵略者的信心。
清河區在地方武裝升級補充主力部隊的工作中，存在單純主力化的觀點，在一段時期發生過「連根拔」的現象，使一些縣區的地方武裝鬥爭受到削弱，也影響了縣區基層幹部發展地方武裝的積極性。
為加強對人民武裝鬥爭的領導，改變人民武裝分散鬥爭的狀態，以適應戰爭的需要，1943年1月，清河區行署在就當前政府工作任務發布的指示中要求，發展人民武裝，開展軍事性、分散性的武裝鬥爭；整頓擴大縣區遊擊隊；地方武裝升級主力部隊。2月，清河區建立人民武裝委員會(簡稱「武委會」)，傅建吾任主任。武委會受八路軍清河軍區、清河區行署雙重領導。此後，各軍分區、縣、區都成立了武委會，主要負責民兵建設與組織領導工作。
在1943年，清河區民兵自衛團參戰840多次，大量殺傷敵人，炸毀敵汽車21輛，捉獲敵探奸細100餘名，奪回糧食450萬公斤。至抗戰後期，清河區的基幹民兵、自衛團發展到幾十萬人，他們作為主力部隊和地方武裝的後備力量，在堅持地區鬥爭，維持地方治安，除奸反霸，和配合主力部隊、地方武裝反「蠶食」、反「掃蕩」，以及在參軍、支前等方面都發揮了重要的作用。
在清河平原之上堅持抗日遊擊戰爭，由於其不同於山區的自然環境條件，在敵強我弱的情況下，不利於八路軍的隱蔽轉移和遊擊作戰，而日軍則憑藉其機械化部隊和騎兵，不斷對八路軍實施長途奔襲和合圍「清剿」。清河區黨委、八路軍清河軍區認識到，要堅持平原遊擊戰爭，必須改造平原地形，普遍發動群眾大挖抗日溝、護莊溝、交通溝，建成縱橫交錯、四通八達的抗日溝網，築成能攻能守的地下長城，保存自己，打擊敵人。根據地內的抗日溝聯成網後，又逐步向遊擊區和接敵區發展。白天不能挖就夜間挖，或由八路軍部隊掩護挖。日偽則極力破壞，強迫群眾填平；白天被填平後，抗日軍民則夜間又挖開，堅持鬥爭，反覆較量，最後敵人無奈只得作罷。
清河區改造平原地形、大挖抗日溝這一工程之大，難以用數字統計，僅廣北根據地在1941年即挖抗日溝達500餘公裡。抗日溝是清河平原抗日軍民在對敵鬥爭中的重大改造，它便於抗日軍民隱蔽轉移，出其不意地打擊敵人，又可遲滯和阻撓敵人的襲擊，粉碎敵人的「掃蕩」、「清剿」，對堅持平原地區的抗日遊擊戰爭發揮了重大作用。