截止到1947年，華東戰場形勢發生巨大變化，在過去半年多的時間裡，華東解放軍從蘇中打到蘇北、再打到魯中南，戰爭從前沿陣地不斷向解放區縱深擴展解；戰爭的規模是越打越大，從最初的華野獨立作戰到魯南戰役兩大野戰軍聯合作戰，不同解放區實現了從戰略協同向戰役協同作戰的轉變，參戰人數越來越多，從最初2萬多人的運動戰到十幾萬人的大殲滅戰，殲敵人數越來越多，僅魯南戰役一役，便殲敵5萬多人。在半年多的時間內，華東解放軍消滅國民黨有生力量近20萬人，完成了中央指示的大量殲敵有生力量的目標，雙方勢力正逐步走向平衡。
1947年春天，根據中央指示，山東野戰軍與華中野戰軍整編為華東野戰軍，形成了以陳毅為司令員兼政委、粟裕為副司令員、譚震林為副政委、陳士榘為參謀長的指揮班子，華東野戰軍下轄10個縱隊一個特種兵總隊(不含兩個內線作戰的縱隊)，作戰人員約有27.5萬人；其作戰能力經過幾次重大戰役尤其是魯南戰役磨合後大幅提升；整編後的華東野戰軍指揮系統更加靈活，編制更加精煉，武器裝備大幅改善，面貌煥然一新。
對於華東戰場的形勢國民黨有著不同的看法，在過去半年內國民黨雖然損失20萬部隊，但卻把解放軍從蘇中逼到魯中南，完成內戰爆發初期蔣介石制定的將「匪軍趕到隴海線以北」的目標，因此從戰略上來說是勝利的；參謀長陳誠在一份軍情分析中寫道「共軍大勢已去」，「國軍部隊雖略受損失，但就全盤戰局而言，實屬莫大之成功」，正是基於這樣的判斷，蔣介石在魯南戰役後就迫不及待地發動「魯南會戰」，認為解放軍剛剛經歷一場大戰，還未來得及休整，戰鬥力還未恢復，另外臨沂城乃是山東解放區首府，此時進攻一定會逼迫華野主力於魯南決戰。
1947年1月31日，魯南戰役剛剛結束不到10天，國民黨調集8個整編師20個整編旅為南線突擊集團，分三路從隴海路向臨沂進攻；另外三個軍9個師從膠濟線南下，以李仙州為總指揮，此為北線輔助突擊集團；兩路大軍南北對進，企圖夾擊集結於臨沂附近的華東野戰軍；另外，為防止我軍從魯西南逃走，蔣介石還專門從冀南、豫北調來王敬久集團1個軍3個師，作為西路部隊隨時投入魯中、魯南作戰；鑑於前幾場戰役的失敗教訓，負責此次進攻的總指揮陳誠動了一番心思，為避免再次被我軍分割殲滅，陳誠命令各路大軍採取「集中兵力，穩紮穩打，齊頭並進，避免突出」的戰法。
根據敵情，陳毅、粟裕也制定了一份作戰計劃，準備集中50個團先粉碎南線敵軍，作戰意圖是放手誘敵至臨沂以南地區，以一個主力縱隊正面阻擊敵中路部隊，誘使左右兩路敵軍突出，然後集中主力殲滅易於殲滅的一路；此作戰方案偏於保守，在2月3日的嘗試性進攻中敵軍不僅沒有突進，相反左右兩路部隊有向中間靠攏的趨勢；我軍作戰歷來是戰略上以少勝多，戰役上以多勝少，南線敵軍重兵密集不易分割，北線敵軍又趁勢佔領萊蕪，給華東野戰軍留的時間和空間都不多了。
關鍵時刻中央來電指示「必要時可放棄臨沂」，這給粟裕極大的戰略思維空間，使他在戰役指揮上不再局限於以「保衛臨沂」為中心的作戰目標上，而是把目光投向以殲滅敵人有生力量、粉碎敵人進攻的戰略目標上，沒有臨沂城這個「大包袱」粟裕的作戰靈感隨之而來。粟裕以為，南線之敵人數眾多又蝟集一起，不利於我軍於運動中殲敵；相反北線敵軍兵力較少，又都是雜牌軍，且有孤軍深入的趨勢，便於我軍分割殲敵。由此粟裕冒出了一個大膽的想法，那便是捨棄南線之敵，主力秘密北上對李仙州集團以突然打擊。
就在粟裕分析北上殲敵的可行性時，陳毅也提出「舍南取北」的戰略思想，與其把戰機浪費在南線上，不如主力北上，以絕對的優勢殲滅李仙州部隊；自解放戰爭以來，陳毅與粟裕一直有外線作戰和內線作戰的戰略方向之爭，這次戰略上難得不謀而合；陳毅要求粟裕詳細分析北上作戰戰役上的可行性，粟裕以為如果以一到二個縱隊留在臨沂附近與敵周旋，並做出主力部隊南下決戰的意圖，同時主力秘密北上，以最快的速度包圍李仙州部隊，在適當的時候放棄臨沂，這樣即使敵人發現我軍意圖時，也為時已晚。
在給中央電報中，粟裕著重強調北上殲敵的積極意義，奪取膠濟線威脅濟南，吸引南線之敵北上，然後在魯中地區相機殲滅敵人；很快中央同意粟裕作戰方案，認為如此可以調動敵軍，扭轉我軍被動決戰的不利局勢。這樣，一場大戰在中央與前線指揮官之間的討論中形成了。
「舍南取北」最大的困難不在於殲敵，而在於如何掩藏作戰動機，粟裕以為即使北線敵軍縮回去，我軍北上仍有重大機會，但如此未免給這次絕妙的作戰留下遺憾，於是粟裕開始緊張地布局。首先是迷惑南線之敵，以第二縱隊發起討伐郝鵬舉的戰役，以吸引敵人向東增援(估計很難)，然後主力集結於臨沂附近做出與敵決戰之假象；其次，以第二、第三縱隊假扮主力，在臨沂以南地區展開正面防禦，以示我軍力保臨沂之決心；第三，粟裕估計敵人佔領臨沂城不會太晚，要儘量拖延我軍北上之作戰意圖這些工作還不夠，於是又命地方武裝假扮主力進逼兗州，在運河上架起浮橋、在黃河岸邊籌集漁船，做出我軍放棄臨沂後向西轉移俗與劉鄧會合的假象。
為了拖延兩線敵軍對進速度，進一步作出我軍決戰假象，粟裕又在南北兩線巧設疑兵，命令第七縱隊一個旅於隴海路阻擊敵七十四師，魯中軍區地方部隊阻擊由萊蕪南下之敵四十六軍，並打出了主力部隊的旗幟。一切準備工作做好後，2月10日陳毅、粟裕下令向北秘密轉移，主力部隊迅速啟程，冒著雨雪穿梭於沂蒙山的崇山峻岭中，與此同時近60萬支前民工也靠著肩挑、獨輪車等原始辦法將集結於臨沂城的數以千萬計的糧食和彈藥向北轉送，華東野戰軍在魯中父老鄉親的幫助下順利實現了緊急大轉移。
不久，前線偵查同志傳來北線敵軍情報，李仙州所率七十三軍軍部及十五師位於顏莊，第一九三、第七十七師分別位於淄博附近，第十二軍軍部率兩個師位於萊蕪、口鎮，第四十六師位於新泰地區；粟裕根據敵情迅速給各部隊下達集結命令，主力部隊分左右兩路進入伏擊點。2月15日，南線留守部隊節節抵抗最後放棄臨沂，國民黨大軍佔領一座空城，敵各路部隊向蔣介石邀功，揚言「殲滅匪軍16個旅，華東野戰軍全線潰退」「已無力再與國軍決戰」，甚至有指揮官做出「匪軍向西逃竄，欲與劉鄧部會合」的判斷。
粟裕示形於南的部署看似瞞過了南線之敵，但國民黨中也不乏能人，第二綏靖區司令長官王耀武就看出了問題，南線國軍未經歷大戰便佔領臨沂，判斷我軍主力可能改變作戰方向，唯一的可能便是北線的李仙州部隊，於是迅速下令李仙州部隊全線後撤，並向陳誠要求「準予機動作戰」。蔣介石與陳誠在南線部隊的忽悠下已無法做出正確判斷，他們堅信華野主力「已經被擊潰，有過黃河避戰之企圖」，嚴令李仙洲部隊「恢復戰前態勢」以達到南北夾擊的目的。王耀武無奈只能無奈地接受命令。
「兵以詐立」蔣介石與前線指揮官產生不同的判斷，完全是粟裕詐的合理、詐的可信，符合一般的戰爭規律，迎合了敵軍的心理，「攻其所必守」魯南會戰初國民黨判斷我軍必守臨沂，因此臨沂決戰勢在必行，粟裕正是基於一條件才決定在臨沂南示敵以形的。但由於王耀武的謹慎，致使北線敵軍在我軍進入伏擊地點時先後發生了四次較大的變化，尤其是第一次，李仙州部7萬人向北縮，當時華東野戰軍尚未完成對萊蕪的包圍，眼見敵軍要跑許多前線指揮官建議提前發動進攻，這樣最少也能切掉敵軍一個尾巴。
對於是否提前出擊，粟裕認為即使能抓住敵軍一個尾巴，也不能對北線敵情產生多大的影響，北線敵軍全部逃跑，我軍北上從戰役上來說仍大有可為，因此沒有必要提前暴露作戰意圖；不久王耀武在蔣介石壓力下把四十六師調回新泰證明我軍作戰意圖仍未暴露，這堅定了萊蕪殲敵的決心。2月20日，北線部隊第三次發生重大變動，王耀武命令新泰、萊蕪之敵北撤，同時命令七十七師經下博南下；此時華東野戰軍經過10多天的準備，大部分主力部隊已進入伏擊點，粟裕果斷下令部隊出擊，先殲滅南下之七十七師，阻斷敵北上之路；不久左路部隊攻佔萊蕪以北之吐絲口鎮，萊蕪以南的部隊成為甕中之鱉。
萊蕪戰役歷時三天，殲敵5.6萬人，活捉李仙州，超前完成了中央給予的一個月到一個半月內殲敵10個旅的任務，其殲敵之多、作戰之快、部隊調動之迅速、損失之少創解放戰爭以來新的記錄；萊蕪戰役後，華東野戰軍實力再次得到提升，同時奪取了膠濟線附近主動權，打通了膠東、渤海、魯中解放區的聯繫，為華野下一步作戰創造了有利形勢。另外，從戰役角度講，萊蕪戰役體現了我軍超長的指揮才能，「示形以南，擊敵於北」的謀略讓國民黨高級將領害怕，戰後王耀武高呼：「萊蕪戰役，損失慘重，百年教訓，刻骨銘心」。