抗戰時期，山東湧現了很多地方武裝開展抗日活動。此外，山東還有國軍武裝，數不清的地方武裝。山東發展成第一大根據地，兩位元帥功不可沒。
1938年4月底，徐向前率129師部分部隊到河北南部發展。據徐帥個人回憶錄記載，冀南八路軍」解放臨清、高唐、臨漳、內黃、清豐、滑縣等二十多個縣城，消滅日偽軍萬餘人，爭取偽軍反正五千餘人，收編數十股雜色武裝和二十餘縣的民團、保安隊，建立了五十一個縣的政權，控制了西起平漢線、東至運河，南起豫北，北至滹沱河以南的廣大地區，人口逾八百萬」。
徐帥領導下，冀南抗日根據地發展迅速。1939年春夏，日軍集中兵力掃蕩華北抗日根據地，其中5個師團3萬餘人分11路圍攻冀南八路軍。徐帥回憶「這次反掃蕩異常艱苦」，堅持到1939年5月，日軍不得不撤出根據地。
1939年5月，徐向前奉命前往山東工作，從此離開了冀南，離開了129師。
徐帥接到命令後，帶上一個小分隊和從八路軍總部、抗大第一分校選調的幹部，1939年6月7日到山東。當時山東除了鬼子，國軍，還有多支我軍部隊：
一、由原地方起義武裝，張經武任縱隊指揮，黎玉任政治委員，轄八個支隊，活躍在魯中、魯南及膠東地區，兵力4萬餘人；
二、第一一五師第三四三旅，第一二九師津浦支隊為基礎，組成的八路軍東進抗日挺進縱隊。肖華任司令員兼政治委員，開創了冀魯邊平原根據地，控制了15個縣的地域，兵力2萬多人；
三、第一一五師師部及第六八五團。由代師長陳光、政治委員羅榮桓率領，與地方武裝合編後為蘇魯豫抗日支隊，兵力8000人左右。
徐向前對這些部隊進行了整合。整編地方武裝，從115師抽調幹部充實，前後抽調了2000多人。加強主力部隊，又從山東縱隊一次性抽調3萬餘人槍給115師，加強交流。
1940年6月1日，徐向前離開沂蒙山區，回延安匯報工作。
徐帥離開後，山東抗日武裝進行了整合。羅榮桓元帥領導下，山東的抗日武裝最後全部統一在一起，發展了魯南、魯中、膠東、清河、冀魯邊、濱海等6個軍區。
到1944年，日軍兵力被抽調南下，剩餘日軍只能待在交通幹線、戰略要點和工礦區的一些守備重點，數量只有2.5萬人。由於吳化文、厲文禮、張步雲、榮子恆等人率部先後投敵，20萬偽軍是日本維持山東的主要力量。
號稱「抗戰主力」的國民黨軍，在山東影響非常有限。他們沒有統一的政權中心，各自為政，僅剩的6萬部隊之間矛盾重重，有的同日偽秘密聯繫，甚至接受日偽軍的番號，有的對日偽和八路軍之間兩面討好，也有的向八路軍靠攏。
幾年時間裡，八路軍迅速發展，主力部隊，還有各級軍區，軍分區的部隊已經達到了幾十萬人。羅榮桓一貫謙虛謹慎，此時也非常欣喜，1945年7月7日《大眾日報》上撰文：「山東有了屹立不可動搖的基礎，一如泰山之不可拔一樣。」
截止1945年8月20日，我軍在山東的部隊如下：
第一師，師長梁興初中將。
第二師，師長羅華生少將。
第三師，師長王建安上將。
第四師，師長廖容標中將。
第五師，師長吳克華中將。
第六師，聶鳳智中將。
第七師，楊國夫中將。
第八師，王麓水，1945年12月13日犧牲。
此外，還有11個旅地方部隊：
警備第一旅，旅長陳奇少將。
警備第二旅，旅長吳瑞林中將。
警備第三旅，旅長錢鈞中將。
警備第四旅，旅長孫繼先中將。
警備第五旅，旅長賈若瑜少將。
警備第六旅，旅長劉賢權少將。
警備第七旅，旅長趙寄舟，1947年被撤職 。
警備第八旅，旅賀健少將。
警備第九旅，旅長趙傑少將。
警備第10旅，旅長張仁初中將。
警備第11旅，旅長莫正民（起義偽軍），1946年轉地方工作。
在山東境內，我軍有魯中、魯南、濱海、膠東、渤海等5個軍區、8個師、11個警備旅、1個海軍支隊。至9月初，連同地方武裝共27萬餘人。