1948年2月，西北野戰軍經過了一系列整軍之後，以主力五個縱隊轉入外線，並在29日主動發起了宜川戰役，以一小部兵力進攻宜川，誘使國民黨軍馳援，伺機攻敵援軍，這一戰中國民黨軍整編第29軍，兩個整編師師部共計3萬餘人全軍覆沒，敵中將軍長劉堪擊斃，是解放戰爭時期西北戰場上，我軍取得最大規模的勝利。
也就是宜川戰役過去以後，西安綏靖公署主任胡宗南有些焦慮，雖然在西北戰場上國民黨軍仍然有巨大的優勢，但再也不敢貿然心動，為了增強在西北戰場上的國民黨軍兵力，胡宗南下令調下屬精銳的第五兵團西援，該部原先是駐防洛陽自潼關一帶的隴海鐵路，在被抽離以後，隴海鐵路附近就僅剩下地方保安團防守，而洛陽則之留下了一個青年軍206師鎮守。
青年軍是抗戰末期，國民黨軍招收的一些知識青年組建的軍隊，實際上在我軍認識中，該部由於是新兵組建，也未親歷過戰場，因此戰鬥力較為薄弱，因此這一戰開打之前，我軍就決定了以打援為主，而以攻城為輔，到1948年3月以後，洛陽防守力量大為削弱的情況下，為了配合西北野戰軍作戰，華東野戰軍配合晉冀魯豫野戰軍4個縱隊進攻洛陽，並以華野3縱、晉冀魯豫野戰軍4縱攻城，以8縱、9縱兩個縱隊阻援。
3月8日，洛陽戰役打響，但事實上洛陽雖然僅僅只是青年軍一個師防守，但該部兩個旅戰鬥力卻超出我軍預料之外，特別是師長邱行湘，戰前更是信誓旦旦保證，一定能守住洛陽，雖然該部裝備並不如一些全美械王牌師來的更強，但勝在戰鬥意志較為出眾，3縱、4縱兩個縱隊全力攻城3天，也只是拔掉了洛陽城外圍的據點，此後攻城部隊陷入苦戰。
之所以造成如此困窘的局面，主要在於防守洛陽的敵軍還有一支重炮團，我軍雖然進攻比較頑強，但是未能考慮到敵人還擁有一支這樣的部隊，況且我軍本身在攻堅重武器上就比較少，在初期作戰中，更是大量的火炮被敵人炸毀，僅10旅28團就在作戰中連續損失好幾門火炮，不得不改變陣地，採用爆破架炮火的方式猛攻城池。
但此時還有一個更為嚴峻的局面，在國民黨軍聽說洛陽有丟失的可能的時候，立刻下令調兩個整編軍向洛陽馳援，其中一部是鄭州指揮部主人孫震指揮的整編第47軍，該部自許昌開出後，由於懼怕被我軍圍攻，因此一路遲疑，逡巡不進。
但另外一路則並不好對付，該部是由整編十一師（五大主力之一十八軍）加上重建的整編第3師組建的整編第十八軍，由胡璉出任軍長，該部由於遠超一個整編軍的實力，因此也被叫做胡璉兵團，該部有漯河出發，前往想仄集結，整編47軍之所以不敢馳援洛陽，主要也是為了等胡璉兵團到位以後，二者合理馳援洛陽。
一旦打成膠著站，等到敵人兩個整編軍合圍過來，對我攻城部隊的壓力會更大，為此3縱4縱加緊攻勢，於14日突破城牆，206師5000餘人聚集在城中200多米的陣地上負隅頑抗，直至被我軍全殲，206師師長邱行湘被我軍俘虜，為了避開敵兩個整編軍主力，我軍在攻克洛陽3日後，主動放棄該城，直至4月5日以後，晉冀魯豫野戰軍，再度攻克洛陽，切斷了敵人潼關至鄭州之間的聯繫。