上文說到以42軍為主力的四野13兵團在第一階段掃清安陽外圍防線的作戰中，雖然成功奪取了17個外圍核心據點，殲滅敵軍1000餘人，但也付出了800多人的傷亡代價。42軍受到林彪的嚴厲批評，遂拋棄了輕敵思想，周密的部署第二階段作戰計劃。
第二階段作戰：掃清外圍據點
4月18日，第二階段作戰開始。第42軍採取「四面攻擊、各個殲敵、逐步壓縮、逼近城牆」的作戰方針,為攻城作戰掃清障礙,控制有利陣地。第42軍決定以師為單位劃分各個作戰目標：124師加強軍炮兵團攻殲城西北廣益紗廠、高樓莊、郭灣、新紗廠、鐵路醫院、火車站、電燈房及小西門等處之敵；125師由城東攻殲常家灣、整蓋山、東關園、西關園和東關等處之敵，126師由城北攻殲霍家村、傅家莊及北關等處之敵；155師攻殲城西南一帶的敵人。
125師374團於18、19兩日，對鰲蓋山守軍1個營採取挖交通壕逼近,遷回包圍的戰術,切斷該敵退路,斷絕水源,封鎖3天後,迫敵投降。21日17時，該師又以第374團2個連在軍炮兵團4個連與師炮兵營火力支援下,對東關園據點王三祝部200餘人發起攻擊,激戰1小時,將敵大部殲滅。373團2營於22日7時攻佔常家灣,當日374團第營加強軍、師2個炮兵營，對西關園守軍400人發起攻擊，因未徹底斷其退路，致敵乘我炮火煙塵瀰漫之際，沿交通壕逃回城內,1營隨即攻佔西關園,並追殲尾敵70餘人。
126師以378團全部、377團2個營,並加強師炮兵一部，於19日9時20分，同時向霍家村、博家莊兩據點敵1個營發起攻擊。15時50分,佔領霍家村,殲敵一部。隨以377團1個營，加強炮兵一部，於22日7時向傅家莊發起第二次攻擊,經炮擊30分鐘後,守軍防禦工事大部被摧毀，我軍乘勝勇猛衝擊，激戰兩小時，全殲守敵王景昌部1個營，計斃敵百餘人，俘120餘人，為進攻北關創造了有利條件。至4月22日,42軍官兵在密集的炮火掩護下,猛烈攻擊,神速推進，安陽外圍據點基本被奪取,各師逼近城牆和四關。
第二階段作戰：攻克四關！
124師370、371團在軍炮火力的支援下,向車站、電燈房發起攻擊,一舉克敵。371團整足了勁兒第三次向高樓莊發起攻擊,終於勝利攻佔，全殲守軍。155師以兩個團和師警衛營分三路配合124師並肩向西關發起攻擊,分別攻佔了打蛋廠、西關車庫、西關集市街和馬市街。同時該師463團也攻佔了城南顧家莊、火燒莊等據點,完成了預定任務。
125師於24日攻佔了閻王廟據點。27日以4個營兵力攻佔了東關和緊靠護城河的三官廟,完成了外圍作戰。126師也於27日9時全部佔領北關。我的逐步逼近,迫使守軍收縮兵力。守敵總指揮趙質宸為保存實力,堅守城關，急忙命令據守南關的司炳南部撤至城內。至27日，安陽城東、西、北關全部為我控制,我軍全線逼近護城河。
第二階段肅清外圍戰鬥歷時10天,戰鬥20餘次,掃除重要據點25個,殲滅守軍2630人，為攻城作戰控制了有利陣地。
林彪：殺雞要用牛刀！
對於安陽的總攻，林彪特地下達了殺雞要用牛刀的指示。42軍經過仔細研究，決定以124師和125師各加強一個炮兵團，擔任主攻，由城西面並肩突破；124師由小西門突破後迅速向縱深發展,首先奪取城內鐘鼓樓敵核心陣地,而後配合125、126師,在倉門口街以南、東大街以北地區殲敵主力；125師由大西門以北50米處突破後迅速向縱深發展，在城內以一部分配合第124師奪取鐘鼓樓陣地，師主力於西大街以南地區分割、殲滅敵人。
5月5日18時，125師集中掌握了大口徑火炮50餘門,對大西門兩側150米正面,實施了20分鐘的轟擊。373團第1營指戰員採取縱深、梯次的戰鬥隊型，向護城河與外城之敵發起勇猛的衝擊。利用已構建好的坑道，以700公斤炸藥連續爆破了護城河通道,於18時45分佔領護城河。繼而在炮火掩護下於21時攻佔外壕,突擊部隊立即逼近城牆,擔任爆破任務的第1連第1排在城牆根下積極構築藥室,至24時30分將400公斤炸藥裝填完畢，等待總攻信號。
6日早晨5時許，將城牆炸開一個寬23米的突破口，突擊連376團第2營第4連聞爆炸聲一躍而起，吶喊著向突破口撲去。搶佔突破口後，猛烈地向兩翼發展，粉碎了守軍的瘋狂反撲，一舉攻入城內。正在火車站水塔上指揮所的42軍軍長吳瑞林見突破口已被炸開,立即發出了總攻的信號。霎時間，安陽城內外炮聲隆隆,火光閃閃,殺聲震天。125師於5時45分經爆破突入城內,124師也於6時入城。安陽守軍全面潰亂,解放軍乘勝展開縱深戰鬥。6時50分，攻克國民黨安陽縣政府。上午8時，戰鬥勝利結束。
安新戰役勝利結束！
安陽戰役歷時20天,經過奔襲包圍、肅清外圍、突破與縱深等大小28次戰鬥,共殲滅國民黨軍14101人，其中斃傷1629人，俘虜12232人,投誠240人。生擒國民黨「冀豫邊區清剿指揮部」中將總指揮趙質宸,擊斃少將副總指揮兼第134師師長郭清。繳獲各種炮16門,各種槍9190支,各種炮彈1129發,各種子彈489萬發,汽車16輛,馬948匹及其它大量軍用物資。我軍傷亡2646人，其中傷2278人,亡368人。
在42軍圍攻安陽守軍的同時，四野47軍主力於5月1日逼近新鄉，協同華北軍區70軍嚴密包圍守軍，並展開政治攻勢。在強大軍事壓力下，新鄉守軍40軍1.7萬餘人於5月5日放下武器，接受和平改編，新鄉解放。
從此,整個華北徹底解放,拔除了國民黨軍在華北的孤立據點,打通了平漢鐵路,掃除了四野南下進軍的兩大障礙，四野主力開始分三路沿平漢路浩浩蕩蕩地南下，開啟進軍中南地區的徵程！