宿北戰役打痛了國民黨軍隊，也打怕了國民黨軍隊。
正在進攻的國民黨軍各部，全都暫停了進攻。
徐州綏靖公署主任薛嶽命令攻下漣水的整編七十四師，向北進攻。張靈甫居然抗命不動，必須等各路援軍到達後，才肯北進，而且各部隊之間，緊緊地貼在一起，互相掩護著向北挺進。
當時，國民黨軍分布的態勢為：南線的整編十一師在宿遷，整編七十四師在陳師庵，隔運河、六塘河與華中野戰軍6師、九縱、山野二縱、7師對峙。國民黨7軍在泗陽、整編二十八師在漣水。
而西線馬勵武的整編二十六師和國民黨國防部配屬的第1快速縱隊己經突進到嶧縣以東，準備進攻山東解放區首府臨沂，周毓英的整編五十一師駐棗莊，馮治安的整編七十七師、整編五十九師駐臺兒莊。
宿北之戰後，時任參謀總長的陳誠到徐州與徐州綏靖公署主任薛嶽分析當前的攻略態勢。
陳誠和薛嶽認為：「東線兵團經過苦戰連續佔領了蘇北的鹽城、漣水，華中的共軍已經失去了根據地，只能向魯南撤退，而共軍的山東軍區，以山東半島為依託，山東半島深入海中，沂蒙、嶗山等山脈綿亙起伏於其間，地形錯綜複雜共軍自稱前後經營達八年，根深蒂固。加以煙臺、龍口與旅大僅一水之隔，易得外援，因此山東便成為共軍最優良同時也可能守得最久的根據地。山東之得失，在國內戰局中，也便有決定性作用。」
陳誠和薛嶽得出結論：蘇北失守後，陳毅的山東野戰軍勢麼要死守山東。而國民黨軍完全可以採取「攻其所必守」的戰略，與我山東野戰決戰。陳毅和粟裕發現：敵整編七十四師與桂軍第7軍、整編十一師合兵一處正向沭陽進攻，企圖夾擊我軍。
華中野戰軍在淮北與敵整編七十四師幾次交鋒，整編七十四師成了華中野戰軍的宿敵，華野上下都堅持要與整編七十四師決一死戰，報淮陰、漣水之仇。
圍繞「在哪裡打，打誰」，華野與山野高層內部展開了激烈爭論。
華野想在兩淮或蘇北與張靈甫的整編七十四師決戰，而山野則要回師魯南，當時的魯南的形勢也非常緊張：魯南馬勵武的整編二十六師和第一快速縱隊一路往前推進，距離山東解放區首府臨沂僅有30公裡的路程了。
官司打到了中央軍委，毛澤東指示陳、粟：「魯南戰役關係全局，此戰勝利即使蘇北各城全失亦有辦法恢復。你們必須集中第一、第六、第八、第四、第九、第十各師及一縱、警旅等部，並有必要之部署準備時間，以期打一比宿北更大的殲滅戰。第一仗似以打二十六師三個旅為適宜，因該師系魯南主力，該師被殲，全局好轉，若先打馮部，則恐一時不能解決魯南問題。究應如何，望根據具體情況處理。」
毛澤東主席在電報中，明確要求華野、山野兩軍北上魯南，組織魯南戰役，並且提出先打馬勵武的整編二十六師，而且要王建安的魯中部隊也參加魯南戰役，我軍集中的兵力大大超過了宿北戰役。
陳毅、粟裕堅決執行了中央軍委的指示，決定立即組織魯南戰役。
1946年12月23日，粟裕下令分布在兩淮的華野一縱、8師、華野1師日夜兼程，迅速北上參加魯南戰役。
陶勇的第一師在過隴海線時，被敵人的偵察飛機發現，陶勇請示粟裕，問是否還要晝夜兼程。
粟裕回答：「將計就計，晝夜兼職北上。」
華野一反常態地在大白天行軍，使薛嶽錯誤地斷定粟裕是「敗退山東，不堪再戰」。
薛嶽將部隊從山東的棗莊一直到徐州附近，擺了個「一」字長蛇陣，各部成掎角之勢，便於相互策應，其中的核心是馬勵武所部，為魯南敵軍中最強部隊。
「先打弱敵」是粟裕的一個基本用兵原則，但對於魯南之敵，如果先打弱敵，起不了多大作用，難以緩解山東戰場的緊張局勢。
粟裕決定反常用兵，先打強敵，首先吃掉馬勵武的整編二十六師和第一快速縱隊。
馬勵武的偵察分隊不斷向他報告有共軍主力部隊向魯南方向運動的消息，共軍部隊集結了11個師的兵力，馬勵武預感大戰即將來臨，為擺脫孤軍深入的不利局面，他向薛嶽請求退回嶧縣。
薛嶽仍然命令整編二十六師繼續向前進攻，無奈的馬勵武只好收縮陣地，以馬家莊為中心，構成一個東西25公裡的狹長防禦陣地。以快速縱隊的坦克往返巡邏，作機動增援部隊。
馬勵武認為有第一快速縱隊的優勢裝備，不怕共軍的進攻。
國民黨軍的第一快速縱隊，是國民黨軍中少有的機械化部隊。全面抗戰時期，蔣介石在昆明組建了國民黨軍的第一支坦克部隊，在印度的新德裡，接受了美軍顧問的正規化訓練，並配備了美式坦克，成立坦克1營參加滇緬公路作戰。坦克一營在印、緬與日軍的作戰中，作戰勇敢，從未打過敗仗，受到美軍顧問的交口稱讚。抗戰結束後，蔣介石用繳獲的日軍輕型坦克組建兩個團，與坦克1營合併為第一快速縱隊，任命其次子蔣緯國指揮。
魯南戰役時，蔣緯國因為身份特殊，沒有親臨戰場，坐鎮徐州指揮。隨同整編二十六師行動的第一次快速縱隊由步兵第80旅、炮兵第5團、坦克第1團1營、搜索營、工兵營、汽車團組成。坦克1營有美式中型、輕型坦克36輛，士兵的裝備從頭到腳全部是美式裝備，在國民黨軍中算是第一流的。
馬勵武預料共軍會在12月30、31日左右發動進攻，命令各部隊作好戰鬥準備，準備與共軍大打一場，然後，乘勝迎接1947年的元旦的到來。
誰知三天過去了，到了1947年的元旦，一切都靜悄悄的，全無一點戰爭跡象。
馬勵武認為1947年的元旦到了，大家都要過元旦，應該不會有什麼意外。
於是，馬勵武把部隊交給副師長曹玉珩和參謀長，自己回嶧縣後方司令部過元旦去了。
1月2日，他在嶧縣見了他的老上級27集團軍軍長李玉堂，晚上回到後方司令部，觀看京劇《風波亭》。
而在此時，陳毅、粟裕正緊急部署著魯南戰役的兵力。
為了便於指揮魯南戰役，陳毅、粟裕決定將參戰部隊編為兩個縱隊：右縱隊以山野8、9、10師、濱海警備旅等組成，共12個團，由魯中軍區司令員王建安、魯南軍區政委傅秋濤指揮，首先殲滅傅山口、太子堂地區的整編二十六師44旅，切斷整編二十六師向嶧縣、棗莊方向的退路，阻擊來援之敵。爾後攻取向城，配合左縱隊消滅整編二十六師師部及快速縱隊。
左縱隊以葉飛的一縱和陶勇的1師組成，共15個團，由野戰軍司令部直接指揮，負責殲滅卞莊之敵，然後在右縱隊配合下圍殲整編二十六師169旅和快速縱隊。魯南第3軍分區武裝負責監視外圍敵人，保證戰役順利進行。作戰命令規定，各部隊於1947年1月1日拂曉進入指定集結地域，1月2日24時發起攻擊。
正在後方司令部看戲的馬勵武，突然接到電話：「前方打起來啦！」
1947年1月2日22時，我軍以絕對優勢的兵力，從各個方向敵整編二十六師發起了攻擊。
8師以主力22團進攻尚巖。尚巖有整編二十六師44旅一個營防守，工事比較堅固。
8師22團3營戰士從尚巖的西南角連續爆破，炸開了鹿砦，後續部隊奮勇突破，佔領突破口。與敵軍展開巷戰。
敵人從馬家莊開來幾輛坦克增援。但是公路己經被當地的地方武裝破壞，坦克不能前進，只能在遠處向村裡打炮。
在我軍的持續攻擊下，尚巖村裡的敵軍終於頂不住了，除少數逃跑外，大部被殲。尚巖被8師佔領。敵軍坦克見勢不妙，也調頭退回了馬家莊。
葉飛的一縱向卞莊進攻。在宿北戰役中繳獲的國民黨軍重炮，此時發揮了作用。在重炮的配合下，一縱很快拿下卞莊。
1947年1月3日，魯中10師攻佔平山，9師佔領石城崮，濱海警備旅佔領石龍山，完全控制了北面的制高點，馬家莊、傅山口之敵完全處於我軍炮火控制之下。
陶勇指揮第一師勇猛穿插，攻克洪山、蘭陵等村鎮，切斷了南面馮治安部與整編二十六師的聯繫。
馬勵武得知前方打起來後，馬上用電話與馬家莊師部聯繫。電話已經被切斷了。馬勵武帶著兩個連準備想返回前線指揮，但前方戰事激烈，根本過不去。
1947年 1月3日，華野攻入整編二十六師師部。打掉了二十六師的指揮中樞。 失去指揮的整編二十六師大半覆滅，殘部與快速縱隊退縮到了一個狹小區域。
返回嶧縣的馬勵武，命令整編二十六師殘部和第一快速縱隊撤回嶧縣。
我軍在殲滅整編二十六師主力後，前沿部隊士氣旺盛，上上下都充溢著一股完全徹底摧毀敵軍的氣概，在這種情況下發動總攻極為有利，但粟裕遲遲都沒有下達總攻命令，其中很大一部分原因，就是忌憚於快速縱隊的坦克和榴彈炮。
1947年1月4日，突然雨雪紛飛，滿天紛紛揚揚地飄起了雪花，這是入冬以來少見的天氣。 雨雪之後的道路變得泥濘不堪，第一快速縱隊偏偏又在這個時候選擇了突圍西奔。
粟裕下達命令：全線出擊，殲敵於突圍途中。
第一 快速縱隊本來要從公路走，但公路已被民兵和地方武裝挖斷，路上到處坑坑窪窪，而且遍地都是燃燒的秸稈稻草，駕駛員的視野受到很大影響。 第一快速縱隊只好衝下公路，想另外再找一條可行的道路。 道路倒是找著了，卻是一條毀滅之路，因為他們誤入了漏汁湖。
漏汁湖是南北八、九裡寬的一片窪地，水溝交叉，乾旱時是平原，雨雪一泡，土地就像海綿一樣泥濘鬆軟，成了一片沼澤地。
國民黨軍前邊的卡車和坦克陷入泥沼，後邊的被堵住，不斷鳴著喇叭。步兵穿行卡車、坦克之間，擁擠不堪，完全陷入混亂之中。
我軍各部隊吶喊著衝入敵陣，開始分割圍殲整編二十六師殘部和第一快速縱隊。整編二十六師副師長曹玉珩和參謀長帶領7輛坦克衝在最前面，僥倖逃出重圍。
經過4個小時的戰鬥，國民黨軍整編二十六師第44、169旅，第一快速縱隊戰車營、工兵營、炮5團、運輸團及80旅兩個步兵團共3萬多人被我軍全殲，繳獲坦克24輛和美式重炮數十門、卡車200多輛。
魯南戰役第一階段作戰勝利結束。
勝利後的陳毅司令員乘興賦詩一首：「快速縱隊走如飛，印緬歸來自鼓吹。魯南泥濘行不得，坦克都成廢鐵堆。」
陳毅司令員縱身登上一輛被繳獲的坦克前，在炮塔頂上坐下，與同行人員合影留念。
馬勵武在嶧縣縣城裡眼睜睜看著他的整編二十六師主力和第一快速縱隊被我軍消滅，僥倖逃脫的副師長曹玉珩等帶著少數殘兵敗將逃回嶧縣城裡，傷兵們悲慘呼號，令守軍官兵膽戰心驚。城裡一片混亂。
薛嶽擔心我軍切斷津浦線，命令馬勵武收攏部隊，堅守嶧縣。同時命令整編五十一師周毓英部固守棗莊，馮治安的97軍固守臨城，形成三個孤立據點。
當時的嶧縣城中只有整編五十一師的一個完整團，加上整編二十六師殘部，總共不到1萬人，還有7輛坦克和30多門火炮，己經是甕中之鱉了。
強敵整編二十六師和第一快速縱隊被打掉了，接下來該打弱敵了。
1月6日，陶勇第一師在完成殲滅第一快速縱隊的戰鬥任務後，乘勝向臺兒莊方向推進，準備吃掉馮治安的第三十三軍，但是馮治安的部隊迅速收縮到運河南岸，憑藉防禦工事固守，與我軍形成對峙狀態。
陳毅、粟裕開始了魯南戰役第二階段的作戰部署：以山野8師、9師、4師10團和濱海警備旅進攻嶧縣；陶勇第一師北上進攻棗莊、齊村；葉飛的一縱擺在嶧縣西南的文峰山、白山一線，阻擊臺兒莊出援之敵；山野10師位於臨城、齊村之間，阻擊臨城出援之敵；另外派地方武裝破壞公路、鐵路，切斷嶧縣、棗莊敵軍的退路。
1947年1月9日晚上，山野8師對嶧縣發起了總攻。
山野8師將繳獲的4門榴彈炮臨時組建成炮兵連參戰，炮兵連的炮長、炮手、計算兵、駕駛員全都是「解放戰士」，由懂炮兵的幹部規定射擊目標。 這是華東新四軍第一次使用榴彈炮配合攻城，榴彈炮的齊射，成功壓制住了城內的炮兵陣地。
在炮火急襲的掩護下，山野8師又實施連續爆破。 魯南地區工礦企業較多，山野8師的很多官兵就是魯南礦工出身，擅長爆破技術，嶧縣南門很快便被炸開，攻城部隊突入城內，與敵人展開了巷戰。
1月11日凌晨，國民黨整編二十六師被全部殲滅，師長馬勵武被俘，逃入嶧縣城中的7輛坦克也被我軍繳獲。
在圍攻嶧縣的同時，粟裕派陶勇第一師攻打棗莊，防守棗莊的整編第五十一師原為東北軍，戰鬥力一般，但他們依託的工事很堅固。
棗莊系工礦市鎮，日偽時期就開始修築防禦工事，僅城牆就有一丈多厚，整編五十一師在此基礎上，又構築了許多集團地堡，形成了核心陣地與外圍陣地緊密相連的防禦體系。
陶勇的第一師為華野主力，擅長野戰和運動戰，但對攻堅缺乏經驗，不懂得爆破，攻城時採用的還是野戰時那種猛打猛衝的辦法，結果屢碰釘子，兩次攻城均告失利。
棗莊拿不下來，國民黨軍胡璉的整編十一師已進至臺兒莊、韓莊一線，張靈甫的整編七十四也向徐州以北急進，魯南戰局重又變得微妙起來。
1947年1月14日，粟裕下令停止攻擊，將善於攻堅的8師調一個團給陶勇第一師。 陶勇將最有把握的爆破人員挑選出來，組建了一個攻城先遣組。先遣組專門挖出一條地道，直通棗莊城牆下，然後通過連續爆破，終於打開缺口，進入棗莊市區。
1947年1月20日，敵整編五十一師被全部殲滅，師長周毓英以下官兵3700餘人被俘。
至此，歷時18天的魯南戰役全部結束，在華東戰場上，魯南戰役又創下了一個新紀錄，一次性殲滅了國民黨軍2個整編師和1個快速縱隊共53000餘人，其中俘虜17000餘人。
繳獲坦克24輛、汽車470輛、各種火炮200餘門。
收復了嶧縣、棗莊及其以東地區，粉碎了敵人會攻臨沂、消滅華東我軍主力的計劃。
魯南戰役結束後，為便於統一指揮，根據中共中央軍委指示，1947年1月23日，華野、山野正式合編為華東野戰軍，陳毅為司令員兼政治委員，粟裕為副司令員，譚震林任副政治委員，華野下轄11個步兵縱隊，1個特種兵縱隊。 華東野戰軍（亦簡稱華野）被列入解放軍序列，新四軍、山東八路軍的番號從此停止使用,新組建的華東野戰軍主力達到27萬人之多。