1948年11月22日，國民黨第7兵團黃百韜部5個軍12萬人在徐州以東50公裡的碾莊圩全軍覆滅，淮海戰場上國民黨軍各主力兵團覆滅的第1張多米諾骨牌被推倒，舉國震動。實際上，早在11月初，解放軍華東野戰軍主力從山東南下之初，處在隴海路東端的黃百韜就意識到自己將成為首要打擊目標，開始緊急收縮部隊向徐州地區靠攏。
黃百韜兵團欲靠攏徐州
雖然撤退途中經歷了等待海州（今江蘇省連雲港市）守軍撤退等波折，但截至11月8日，第7兵團大部已經度過了京杭大運河，前鋒已經抵達距徐州40公裡的曹八集，只要最多4個小時，全軍就可以靠近徐州。那裡此時已經集結了邱清泉第2兵團、李彌第13兵團和孫元良第16兵團等部，總兵力超過30萬人，一旦兩軍合為一股，就會成為解放軍「割不破、嚼不爛」的重兵集團。
黃百韜自信他能夠安全與徐州主力靠攏，因為此時華東野戰軍剛剛到達山東、江蘇交界的臺兒莊地區，而在臺兒莊一線還駐守著國民黨軍第三綏靖區2個軍4個師數萬之眾。這支部隊基本是1937年在盧溝橋打響全面抗戰第一槍的第29軍改編而來，其前身是中原大戰期間倖存的西北軍餘部，整整40萬能徵善戰的西北軍最後僅剩4萬之眾，個個都是百戰餘生、驍勇異常。
昔日抗戰勁旅負責保障黃兵團側翼
1938年，第29軍改編為第33集團軍，由「梅花上將」張自忠率領，在抗擊日寇的戰場上屢建奇功，尤其是臺兒莊戰役期間，其第59軍兩次增援臨沂，重創日軍精銳板垣第5師團，斃傷日寇5000餘人，成為舉國讚譽的一支抗日勁旅。解放戰爭期間，第33集團軍改編為第3綏靖區，馮治安任司令，張克俠、何基灃等擔任副司令，長期駐紮徐州城，承擔城區守備任務。
但隨著解放戰爭的持續，越來越多的非嫡系部隊倒戈起義，使得蔣介石及其中央軍對雜牌部隊逐漸失去信任。1948年秋濟南戰役期間，同屬西北軍系統的第96軍軍長吳化文率部2萬人起義，進一步加深了中央軍對西北軍系統的不信任感。很快，由綏靖區副司令張克俠擔任的徐州城防司令兼職被免除，徐州防務也被交給了嫡系中央軍李彌兵團負責，而第三綏靖區部隊則被派到了江蘇最北端的臺兒莊、賈汪一線防守。
副司令率部戰場起義、讓出防區
由於山東全境除青島等少數海港外已經全部解放，因此第三綏靖區部隊就成為抵擋華東野戰軍進攻的第一道防線，說白了就是進攻時當炮灰，逃跑時打掩護的，這種對雜牌部隊公開的歧視和排擠立即引起全體官兵的不滿。更令人沒有想到的是，第三綏靖區上層雖然有司令官馮治安、第77軍軍長王長海等死硬分子，但也有中共秘密戰線上潛伏多年的老戰士。
其中，副司令何基灃早在1938年訪問延安期間就與中共高層秘密接觸，並於第二年被特批成為中共特別黨員；另一位副司令張克俠則早在十年內戰前期就已經秘密加入中共，已經是有著20年黨齡的老地下黨員了。第3綏靖區官兵本就對蔣介石系統沒有多少感情，還常常在裝備和糧餉上遭到剋扣，早已離心離德，在何、張等人的積極策反下，終於在11月8日舉行戰場起義，總計23000名官兵調轉槍口，敞開了防區大門。
第三綏靖區的臨陣倒戈，讓黃百韜兵團始料未及，只能眼看著華東野戰軍3個縱隊10萬餘人毫無阻礙的經過臺兒莊等地，插到了自己和徐州之間，徹底切斷了自己的退路。對於這次起義的重要，後來粟裕將軍曾評價：「當時只要我們在賈汪多待4個小時，戰機就失去了。」