全面抗戰爆發後短短數月，山西省大部分地區迅速淪陷，作為陝西、山西分界的黃河成為淪陷區和國統區的分界線。一旦讓日寇突破黃河防線，就可以長驅直入，佔領富庶的關中平原，向南翻越秦嶺，從北面包抄陪都重慶，威脅國民政府安全；向北攻上黃土高原，威脅中共中央和八路軍總部所在地、陝甘寧邊區首府——延安。
為了守衛「北起府谷，南至宜川，有千裡之遙」的黃河防線，剛剛由紅軍改編的八路軍抽出第129師385旅（欠769團），120師359旅718團及各師炮兵營、輜重營等部9千餘人，組成陝甘寧邊區留守部隊，以保衛中共中央和陝甘寧邊區安全。
不久，留守部隊統一整編為肖勁光任司令的八路軍留守兵團，兵力也擴充到1萬5千餘人，編為警備第1至第8團和第770團、騎兵營，共下屬12個團，作為保衛陝甘寧邊區的一支重要力量，在保衛黃河河防、清除邊區匪患、進行反頑鬥爭、參與生產建設等方面，都發揮了重要作用。
1937年11月，日寇結束了在華北地區的大規模用兵後，調遣部隊兵臨黃河要津風陵渡等地，企圖西渡黃河佔領陝甘寧邊區，進攻大西北。面對黃河防線的緊張局面，八路軍留守兵團根據黨中央指示，「將黃河河防劃為三個地段，成立了兩延（延川、延長）、五縣（綏德、葭縣、米脂、清澗、吳堡）、神（木）府（谷）河防司令部」，並根據形勢發展，及時對河防兵力進行了調整。
從1938年2月起，山西日寇開始頻繁進攻陝甘寧邊區河防，並憑藉其兵力和裝備上的優勢，多次以炮火、飛機猛烈襲擊八路軍留守兵團駐守的河防陣地，進攻兵力、頻率不斷增強。對此，留守兵團命令各河防部隊不畏強敵，積極備戰，迅速做好了敵情偵察、戰前動員等各項工作，並在廣大群眾支持下，依託黃河天險，選擇有利地形，很快就構築起一道類似坑道的堅固防禦工事。
當時，負責山西防務的第2戰區司令長官閻錫山曾派員前來視察，並情不自禁稱讚道：「八路軍能做這樣堅固的工事，實是我們所預料不到」，「這真正算國防工事」。後來的實踐證明，這道堅固的防禦工事以及充分的戰前準備，成為八路軍留守兵團在黃河河防守備戰中取得勝利的重要保障。
自1938年春至1939年底，「日軍先後對我留守兵團部隊駐守的黃河河防發動23次進攻，每次使用兵力少則2000餘人，多則2萬餘人。」其中，規模較大的重要戰役主要有7次，包括：1938年3月的神府河防戰鬥，1939年1月的馬頭關、涼水巖河防戰鬥，1938年5月，1939年6月、9月、12月在宋家川進行的四次河防戰鬥，以及1939年11月的磧口河防戰鬥。
1941年和1942年，日軍又連續數次調集兵力進犯。「憑藉飛機、大炮等裝備上的優勢，曾多次企圖強渡黃河，速戰速決，摧毀我邊區根據地。」但邊區河防部隊運用「半渡而擊」「主動出擊」「兩面夾擊」等靈活機動的戰略戰術，沉著勇敢地戰鬥，消耗敵人的有生力量。
同時，黃河以東晉察冀、晉綏等敵後根據地的八路軍部隊也全力配合，對日寇用於進攻黃河防線的輜重、渡河器材全力截擊，協助留守陝甘寧邊區的河防部隊先後對來犯日 軍作戰80餘次，對中國堅持8年抗戰作出了戰略性的重大貢獻。