1946年6月，距離抗戰勝利還有不到一年的時間，蔣介石悍然撕毀了「雙十和平協定」，在華中、華東地區集結數十萬國民黨軍，對解放區發動全面進攻，妄圖以突襲的方式一舉殲滅該地區的解放軍有生力量。我們的部隊竭盡全力迎戰，開戰前打了幾次漂亮的仗，對敵人造成了一定的打擊。但是敵人在機炮的火力優勢掩護下猛烈進攻，我軍為保護有生力量主動進行戰略轉移，蘇中地區落入了敵人手中。
攻佔蘇中地區後，敵軍仍不收斂，徐州綏靖公署主任薛嶽率領二十五個整編旅，企圖複製攻佔蘇中的戰績，與我軍主力在蘇北魯南地區決戰，一舉攻佔蘇北與山東解放區首府臨沂地區。根據實際情況，為了更好地應付敵方進攻，我們部隊把山東野戰軍和調走的華中野戰軍合併。聯合作戰後，我軍各部隊協調作戰的能力、戰鬥力都有了顯著提高，在宿北戰役中，殲滅了敵六十九師的大部，給了敵人可乘之機。
儘管整編後的六十九師遭到了毀滅性打擊，國軍的其他主力部隊，包括一個機械化快速縱隊，已經逼近臨沂地區。為擴大戰果，解臨沂之圍，解放軍分兩路，組成左右兩路的縱隊，前後各路輪流掩護配合，突襲敵方整編的二十六師，五十一師。敵軍沒有想到，在重兵壓境下還有解放軍能夠發起反攻，被打得措手不及，兩個師被全殲。
這個戰役不但消滅了大量的有生力量，給了剛合併的我軍很大的信心，同時也在殲滅了敵人的快速縱隊和其他部隊的大批摩託化機械化武器，坦克、炮車等也大有人在。為更好地發揮這些武器的威力，提高軍隊的戰鬥力，我們開始計劃利用這些武器組建一支專業化的炮兵部隊。
但由於華東野戰軍、山東野戰軍沒有專業炮兵部隊，許多指戰員也是「泥腿子」出身，對炮兵部隊的組建情況只是一知半解，沒有深入的理論研究，不能擔負起炮兵司令的重任，所以人選並不多。經多方綜合考慮，原新四軍總參謀長陳銳霆被任命為新組建的炮兵縱隊司令官。
除了擔任總參謀長外，陳銳霆還擔任炮兵司令員，但由於我軍平時作戰缺乏大量的重炮，且沒有相應的炮兵部隊，所以他這所謂的司令只能算是「光杆司令」，平時從事的工作與大炮幾乎沒有什麼關係。陳銳霆生於貧民百姓家，早年因對帝國主義侵略的憎惡，原本是學校教師的他刻苦學習，考入黃埔軍校，在炮兵部隊度過了軍校生涯，畢業後在國軍部隊幹了一段時間，皖南事變後，因受紅色力量影響，投誠新四軍。畢業於陸軍大學，無論在國軍還是在我軍序列中，他幾乎沒有接觸過與炮兵有關的作戰任務，這樣的機會對他來說可謂是難得。
新近成立的炮兵縱隊，從火力配置到建制規模，在解放軍中都佔有一席之地，除了裝備了幾十門美國造大型榴彈炮外，還裝備了騎兵團、工兵分隊、坦克分隊，如此強大的火力甚至能與國民黨的機械化機動部隊相扣。
在擔任炮兵司令之後，他終於把自己的專業優勢充分地發揮出來，部隊訓練有素，炮火精確地打擊，在解放戰爭的許多戰鬥中，都有過不少的戰功，給一線作戰部隊帶來了不少的壓力，尤其是在一九四八年的濟南戰役中，陳銳霆指揮炮兵縱隊的五百門火炮參加戰鬥，這在我軍歷史上還是第一次，想一想，五百門大炮齊鳴，這一幕在當時真是令人嘆為觀止。