國民黨在1946年9月攻佔兩淮後，開始了新一輪的進攻，在華東戰場調集了二十五個整編師六十八個旅的兵力對華中解放區與山東解放區展開了全面進攻。面對國民黨軍的重兵進犯，中央指示集中兵力在運動戰中殲敵，必要時可放棄一些重要城市。
宿北戰役結束後的局勢
所以我軍採取積極防禦，誘敵深入的策略，華中野戰軍在蘇中一帶連續打了漣水保衛戰，東臺保衛戰，但未能殲滅突進敵軍。所以中央指示山野、華野轉戰魯南，在魯南打開突破口。但在走之前一定要打擊蘇北地區的敵軍囂張氣焰。原計劃是圍殲張靈甫的74師，但74師過于謹慎，放棄了這個計劃。最後在宿遷以北全殲戴之奇整編69師，取得宿北大捷。
果斷決策，決定魯南殲敵
12月23日，據宿北戰役剛剛結束4天，陳毅、粟裕就命令葉飛第1縱隊、何以祥第8師、陶勇第1師秘密兼程北上，準備在魯南打一場殲滅戰。
當時魯南與蘇北的具體局勢如下：我方魯南地區留守有山野的第9師、第10師、濱海警備旅和魯南軍區特務團、第4師一個團。再加上北上的葉飛第1縱隊、何以祥第8師、陶勇第1師，主力作戰部隊達到27個團。國民黨軍在魯南有整編51師、整編26師、33軍、整編59師累計八個旅和一個快速縱隊的兵力。
主力轉戰魯南
蘇北由譚震林指揮另第2縱隊、第6師、第7師、第9縱隊及第皮定鈞旅留守在沭陽一帶，阻擊北上的張靈甫整編74師、第7軍以及整編28師等部隊。
更換目標，打的就是精銳
我軍集結到魯南後，下一步就是決定先從哪一路敵軍打開突破口。一般情況下解放軍的策略都是先打弱敵，粟裕陳毅、粟裕最開始想先打在邳縣一帶的馮治安整編第59師。打馮治安部的好處是，一、馮治安的59師裝備差，戰鬥力低。二、59師位於魯南敵軍側翼，更加有利於我軍穿插。
但陳毅把圍殲整編59師的計劃上報中央後，中央在回復電報中所指示，若先打馮治安部，則恐一時不能解決魯南問題。整編第26師是中央軍嫡系，是國民黨軍在魯南的主力作戰部隊，該師被殲，則能扭轉全局。而且整編26師距離周圍的國民黨51師、59師、33軍都有三十多公裡，位置突出，26師各旅也較為分散。再加上周圍的部隊都不是嫡系，馬勵武被圍時，定不會拼力相助，特別是59師師長馮治安還與馬勵武有矛盾。
魯南局勢
陳毅、粟裕認真分析了魯南局勢，最終改變計劃，就先把位置最突出、最為囂張的馬勵武整編26師與第一快速縱隊給吃掉。
戰前部署，右縱隊為盾，左縱隊為矛
首先我們來看馬勵武整編26師的位置，整編26師先頭部隊第169旅駐紮卞莊地區，第44旅放在整個部隊的後方，位於太子堂地區，師部以及第1快速縱隊位於這兩個旅的中間地區（這個快速縱隊應該算個機械化合成旅，由一個步兵旅、一個加強榴彈炮團、一個運輸汽車團、一個戰車營、一個偵察搜索營、一個工兵營構成）
陳毅與粟裕分析得出，馬勵武這樣布局很明顯，他的第一快速縱隊火力強、機動性高，如果我軍穿插圍殲前後169旅或44旅，第一縱隊就可以快速機動救援。雖然國民黨軍可以快速機動，但是我軍能夠集中的主攻兵力有27個團，是整編26師與第一快速縱隊的4倍。粟裕覺得有把握全殲這股敵軍。
我軍的進攻計劃
陳毅、粟裕決定將參戰部隊編成左右兩個縱隊。右縱隊以第8、9、10師以及第4師10團、濱海警備旅及魯南軍區特務團組成，王建安指揮，其任務是攻佔整編26師左翼的重要據點一遍切斷敵軍退往嶧縣、棗莊的退路，然後穿插圍殲最後面的敵軍44旅。同時還要負責阻擊棗莊整編51師的救援。總結一下就是右縱隊負責兜底。
而戰鬥力較強的左縱隊陶勇1師和葉飛第1縱隊擔負直接迎頭圍殲敵軍在卞莊的169旅與26師師部，主攻任務交給葉飛1縱，陶勇1師負責助攻與打援，阻止南面33軍的救援。所以左縱隊就像利劍，直插心臟。
戰鬥
1月2日晚間，粟裕下達全線進攻的命令，此時的馬勵武還渾然不知此前我軍秘密北上的行動，他在元旦當天高高興興的回到嶧縣過節去了，這對我軍來說又是一個好消息。大戰在即，敵軍無帥，整編26師就沒有人來統一指揮。
趁著夜色，右縱隊以排山倒海之勢迅速搶佔了敵軍側後的各個戰略要點，切斷了敵軍退路，同時對太子堂的44旅進行圍殲，44旅倉促應戰、毫無準備又沒有統一指揮，沒多久就出現潰敗，44旅選擇向四周突圍，但只要一個成建制的營逃脫，其餘基本被殲滅或者被俘虜。
圍殲整編26師主力
在右縱隊進攻的同時，左縱隊葉飛1縱隊與陶勇第1師部也同時直插敵軍前鋒169旅，當夜葉飛1縱就包圍169旅一個團，同時陶勇第1師一部穿插至洪山、橫山、蘭陵地區，切斷33軍與整編26師的聯繫，當然這個33軍也沒打算救援整編26師，只是象徵性的派了少量部隊進攻襲擾。
戰鬥到1月3日晚，我軍已殲滅整編第二十六師師部及其44、169旅大部。26師殘部與第1快速縱隊被我軍左右兩路部隊緊緊的包圍子陳家橋一帶。不過這股敵軍還是非常頑強，利用坦克固守。
國軍坦克
戰鬥持續到了4日早晨。敵軍的飛機開始頻頻出現，不過這次不是為了投炸彈，而是為了投物資。想讓被圍困住的國民黨孤軍別灰心，所以派飛機空投物資來穩定軍心。當時我軍利用繳獲的敵軍報話機與飛機聯繫上了，告訴他物資的投放位置，所以一部分物資直接丟到我軍陣地上了。
快速縱隊直接變成運輸大隊
到1月4日上午10時左右，被圍困的26師殘部與第一快速縱隊開始利用坦克，汽車準備突圍。雖然我軍沒有反坦克武器，但是當時連續幾天都是陰雨天氣，道路泥濘。再加上我軍在主要卡口都挖了反坦克壕溝，慌亂突圍的敵軍坦克掉了不少進溝裡，動彈不得，只有7輛坦克逃了回去。
俘獲的坦克
整編26師師長馬勵武后來在被俘時說：「當本師配屬快速縱隊東進時，可謂聲勢浩大，未料四日一戰，即四面楚歌
慌不擇路的敵軍從突圍變成了潰散，大批人員被俘虜，當然我們此戰可撈了不少好寶貝。在魯南戰役第一階段，我軍全殲國民黨軍美械裝備的整編第26師以及第1快速縱隊，獲得了一大批美式武器，包括那個快速縱隊坦克營的24輛坦克，以及26師炮兵部隊與快速縱隊榴彈炮團的各類火炮兩百餘門，各類汽車四百多輛。這一仗可讓我軍賺大了，直接給我們送了一個機械化美械師的裝備。所以這一仗我軍戲稱整編26師與第一快速縱隊是給我們送裝備的運輸大隊。
陳毅、張雲逸、張鼎丞等人在魯南戰役繳獲的坦克前
魯南戰役第一階段殲滅整編26師以及第一快速縱隊後，又發動第二階段攻勢成功圍殲棗莊整編51師。
結語：
魯南戰役一舉扭轉了我軍在整個山東的局勢，特別是把敵軍在魯南的精銳整編26師及第一快速縱隊殲滅後，一舉奪取了戰場的主動權。為後來我華野的萊蕪戰役殲滅李仙洲集團軍積累了經驗。