1944年，華北敵後戰場上，我抗日軍民已開始著手對日偽實施局部反擊，努力擴大根據地，壓縮敵佔區。不過此時華北日軍雖說戰鬥力明顯退化，但仍然有與我軍反覆拉鋸的能力。
當年8月，八路軍魯中軍區收復沂水城後，日偽軍糾集3000人馬實施反撲，八路軍大踏步進退，充分利用遊擊戰、麻雀戰襲擾日偽，待敵疲憊後準備集中兵力打其中一路。設伏地點選在沂水縣城距西北約15公裡，北臨卞山、西臨喬山、南臨沂河的葛莊。
9月4日14時許，隸屬於日軍第59師團的草野清大隊450餘人，帶著500餘偽軍和2門山炮，沿沂縣至博山公路一路進至八路軍伏擊地域。由於配合伏擊的民兵因緊張導致槍枝走火，提前驚動了日軍，埋伏在葛莊以東的魯中1團、埋伏在葛莊以西的魯中2團和埋伏在葛莊以北的第12團只能提前打響。
日軍遭到突然打擊後，反應極快，他們一面讓大炮放列，朝八路軍伏擊陣地轟擊，一面急遣步兵搶佔公路邊的钁頭嶺。這個制高點因為缺乏隱蔽物，八路軍事先沒有在上面預設伏兵，卻制訂了打響後搶佔這個要點的戰鬥預案。
侵華日軍到1944年時，各方面素質已大不如前，這一點從搶佔钁頭嶺就足以管中窺豹。因為距離钁頭嶺較日軍更遠的八路軍1團1營2連，比日軍搶先一步衝上了山頭。此時，1個中隊日軍才氣喘籲籲地爬到半山。2連沒絲毫猶豫，全體指戰員端起刺刀，以泰山壓頂之勢衝了下去，一個照面就刺倒了一排日軍。
剩下的日軍中，有不少新兵，他們被紅著眼、如戰神下凡一般嗷嗷叫著殺來的八路軍勇士震住了，被日本士兵在刺刀下肚破腸流的場景嚇壞了，不顧中隊長聲嘶力竭的嚎叫，紛紛往下退。有個被嚇壞的日軍，竟然當場向八路軍鞠躬求饒，邊鞠躬還邊解下腰間的子彈盒，高高舉起，以示沒有敵意。在日軍中隊長被八路軍挑翻後，僥倖未死的日軍再無心理壓力，紛紛撒腿就跑，唯恐跑慢了會淪為八路的刀下鬼。
這要擱在以前，這撥日軍慫貨必然要被指揮官通通給斃了。但這已經是日本侵略者日暮西山的1944年，這類怯戰現象在日軍中已屢見不鮮，日軍大隊長草野清少佐也無暇執行軍紀，遂親自指揮2個中隊向钁頭嶺發起連續反撲。
人數一多，日軍新兵們即便心裡害怕，也不那麼敢公然帶頭後退了。再說了，大隊長手裡那把明晃晃的戰刀，也是讓人心寒的威懾。於是，2個中隊的日軍向钁頭嶺連續發起了5次衝擊，但均被人數居於絕對劣勢的2連給打了下來。到了傍晚，1團其他部隊迂迴至這股日軍側後，一個突擊就將其擊潰。其相繼向西、向北逃竄分別被我2團、12團打出來後，只得收縮在葛莊以西的一座廟裡。
這座廟在1944年2月之前，一直是日軍屯兵據點。守敵雖被我抗日軍民逼退，但畢竟熟悉周邊戰場環境。因此14時戰鬥一打響，一股日偽軍就迅速佔領了這座廟，並以此為依託，向葛莊以西的松山實施反擊。在反擊被我2團挫敗後，日軍憑藉部署於此的2挺92式重機槍和6挺歪把子輕機槍，頂住了2團一輪輪攻勢，保住了這個戰場立足點，一直堅持到草野清率2個中隊殘兵趕來兵合一處。
負責指揮這場伏擊戰的魯中軍區沂山軍分區司令員孫繼先、副司令員李耀文認為，在殘敵兵力集中的情況下，裝備簡陋的我軍不宜實施強攻。只有採取圍困騷擾、逼敵向南突圍逃回沂縣，爾後在敵逃跑途中對其實施殲滅性打擊方為上策。
4日入夜之後，白天浴血奮戰的主攻部隊得到了輪休，執行疲敵任務的八路軍和民兵們左放一槍、右扔一枚手榴彈，攪得日軍整晚都不敢合眼，生怕八路軍施展夜襲專長。沂山地委書記霍士廉也率領3000多支前群眾，帶著300餘副擔架和不少熟食趕來支援八路軍作戰。雙方就這麼對峙到5日16時許，在多次呼救，沂縣日軍害怕落入八路軍圍點打援的「圈套」，草野清不得不集結日偽軍殘部，兵分數路向南突圍。
八路軍布置在沿途的伏擊，對逃竄之敵實施層層火力攔截、追擊，不斷削弱敵人的力量。尤其是水流湍急的沂河，幾乎成了南逃之敵的鬼門關，日偽軍屍體和隨身物品被河水衝向下遊。如果說步兵相對來說還容易隱蔽的話，日軍那個挽馬炮兵小隊的目標可就太大了，因此不出意外地招來了更多的復仇的子彈。
眼瞅著挽馬被接二連三地擊倒在地，日軍炮兵還妄圖將山炮拆散，將零部件分散掩埋起來。可還未得他們得逞，就被衝上來的八路軍指戰員砍翻在地。草野清身邊最終只剩下50個名日軍及近百名偽軍，一路逃到了位於葛莊西南的一個叫無兒崮的山頭，靠飛機空投物資據險而守，並於次日晨莒縣1700餘日偽軍的接應下僥倖逃出生天。
這場持續了兩天兩夜的葛莊伏擊戰，連同打援、阻援戰果在內，八路軍共計擊斃日軍官兵超過300人，俘虜日軍士兵31人；斃傷偽軍近千人，抓獲偽軍俘虜共計367人，繳獲1門完整的山炮、1門92步兵炮，2門迫擊炮及各種槍526支，以及其他軍用物資一部。這是繼1939年梁山合圍戰後，時隔5年，八路軍在山東地區再次基本殲滅日軍1個大隊，其意義不容低估。
此次葛莊伏擊戰，極大撼了周邊的日偽軍。不久，山東日軍悄然放棄了沂河以北的一些據點，龜縮到交通線上，外出「掃蕩」也變得越來越不積極，我沂水抗日根據地得以進一步鞏固和拓展。