抗戰時，由羅榮桓任軍區司令員兼政委（同時任115師代師長、政委，山東分局書記）的山東軍區下屬魯中、膠東、渤海、濱海、魯南5個大的二級軍區。
面積最大、兵力最大的二級軍區，是魯中軍區，包括今天的淄博、泰安、濰坊大部、濟南大部、萊蕪、臨沂大部。
1942年8月由山東縱隊機關一部組建，王建安任司令員(兼)，羅舜初（授開國中將，後為海軍副司令員）任政委，周赤萍任政治部主任，轄三個軍分區。1943年3月，一一五師與山東軍區合併成立新的山東軍區後，魯中軍區未變。
1945年初，根據中共山東分局和山東軍區指示，將軍區部隊編為第三、第四師以及警備第一、第二、第三旅(後又編第四旅)。第三師師長王建安(兼)，政委周赤萍，副師長胡奇才；第四師師長廖容標(後為孫繼先)，政委王一平，副師長兼參謀長周長勝。不久，第三師和警備第三旅開赴東北，成為東北野戰軍第三縱隊的主體部分。
魯中軍區司令員王建安授開國上將。
八路軍渤海軍區是1944年1月，由冀魯邊和清河軍區合併而成，楊國夫任司令員，景曉村任政委。下轄：第一軍分區，司令員傅繼澤，政委陳德；第二軍分區，司令員龍書金，政委曾旭清；第三軍分區，司令員黃榮海，政委李廣文；第四軍分區，司令員王兆祥，政委徐斌洲；第五軍分區，司令員許雲軒，政委李曼村。
1953年12月，渤海軍區奉命撤銷其建制，所轄各縣市分別劃入惠民、德州、淄博、昌濰(今濰坊)、濟南、泰安等地和河北省滄州地區。
渤海軍區司令員楊國夫授開國中將。
1940年，魯南區黨委成立。這年10月，魯南區黨委決定，並報請山東分局和115師司令部批准，成立魯南軍區，統一領導魯南各地的武裝力量。接著又成立了魯南軍區一、三軍分區。魯南軍區司令員張光中，鄺任農，政委、黨校校長趙鎛，副司令員孫伯龍，參謀長賈耀祥，政治部主任潘振武。
魯南軍區司令員張光中後來擔任徐州市市長。
1942年7月1日，中共中央軍委、八路軍總部、山東軍政委員會發布命令，撤銷山東縱隊第五支隊，成立膠東軍區，許世友任司令員(12月到職)，林浩（1955年授少將）兼任政委。從此對膠東的八路軍主力部隊、地方部隊及民兵，實行了統一領導，屬山東軍區建制。下轄第一軍分區兼東海獨立團；第二軍分區兼北海獨立團；第三軍分區兼西海獨立團；第四軍分區兼南海獨立團；以及第十三、第十四、第十六團。之後，第一、第二、第三、第四軍分區依次改稱東海、北海、西海、南海軍分區。
膠東軍區司令員許世友授開國上將。
1942年4月，魯中五地委和魯南四地委合併成立濱海地委後，接著成立了濱海軍分區。1943年4月，濱海區黨委成立，濱海區實行一元化領導，中共山東分局和山東軍區決定撤銷115師教導二旅、教導五旅和濱海軍分區番號，成立濱海軍區。
司令員陳士榘，政委符竹庭（後犧牲），參謀長何以祥（後犧牲），政治部主任劉興元（授開國中將）。
濱海軍區司令員陳士榘授開國上將。