在抗日戰爭期間和解放戰爭期間，國民黨軍中有一支名氣很大的部隊，這支部隊就是國民革命軍74軍。這支部隊組建於淞滬會戰時期，但是僅僅用了幾年的時間，就成為了國民黨軍的精銳部隊，尤其是第二任軍長王耀武上任後，更是將這支部隊帶上了巔峰。
抗戰勝利之後，74軍被整編為74師，但仍然是軍的編制，全師三萬多人，全副美械裝備，戰鬥力十分強悍。根據1946年軍委會對各部隊在抗戰時的表現，評出了五支戰鬥力最強悍的部隊，分別是74軍，18軍，第五軍，新一軍，新六軍，這五支部隊也被稱之為是國軍五大主力，其中74軍由於戰鬥力強悍，被譽為五大主力之首。
解放戰爭初期，整編74師給華東野戰軍造成了很大的傷亡，華野很多將領都吃過這支部隊的虧。但是張靈甫狂妄自大，最後被圍後，大部分國民黨軍將領都不願意相救，華野在攻打了三天三夜後，將這支部隊全部殲滅，師長張靈甫被擊斃。整編74師的覆滅在當時引起了很大的反響，但蔣介石不甘心失敗，命王耀武重新組建整編74師。
王耀武在74師留守後方的三個新兵團和一個榴彈炮的基礎上組建了51旅，山東警備二旅改編為57旅，廣東航空警備旅改編為58旅，重新組建的整74師師長邱維達也是王耀武的老部下，畢業於黃埔四期。1948年1月，整編74師重建完畢，被列入國防部序列。
1948年3月，當時剛從大別山出來的中原野戰軍士氣低落，裝備很差，急需打一場勝仗來鼓舞士氣，於是他們把目標盯上了駐守在安徽阜陽的整編74師58旅，這裡還是國民黨第十四綏靖區所在地。58旅有9000多人，他們在得知中野要來攻城的時候，反而很興奮，還打出了報仇雪恨的口號。
為了殲滅這支部隊，中野一縱，二縱，三縱，六縱，十一縱全部出動，還調來華野十縱前來增援，其中擔任主攻任務的是楊勇一縱、王秉璋十一縱，還有從自張國華旅抽調戰鬥力較強的3個團。這場戰鬥一開始就打的很不順利，雖然一縱20旅59團一開始就殲滅了國軍一個連，但是很快遭到了國民黨軍的反擊，損失很大。
3月30日晚，20旅58團派尖刀連連大膽穿插，一舉佔領了東關與阜陽城東門之間的吊橋，切斷了兩處國軍的聯繫，但是這個尖刀連打的就剩下一個班。在國民黨軍的瘋狂反撲下，這個團因傷亡過大，退出了戰鬥。國軍還組織一個排的兵力用火焰噴射器開路，進行的大規模的反攻，給各部隊造成了很大傷亡。
中野一縱攻城遇到的最大難題，是城關兩處制高點文峰塔、奎星樓的爭奪。中野的重武器都在挺進大別山的時候丟失了，所以這場仗打的異常艱難，對奎星樓的攻擊，直到最後戰敗撤退都沒有成功。中野11縱在北關，西關的戰鬥同樣艱難，在國民黨軍的反擊，11縱一個主攻團被擊潰。雙方在阜陽激戰六天，各部隊進展緩慢，邱維達帶著整編74師主力前來增援，其他的國民黨軍部隊也紛紛趕來，中野為避免更大損失，不得不撤退。