「牧用趙卒，大破林胡。」這是唐代散文作家李華所說的戰國良將李牧的故事。史載，趙武靈王曾進行軍事改革，胡服騎射，大敗林胡、樓煩的入侵，建立了雲中、雁門、代郡。後來，李牧奉命常駐雁門，防備匈奴。為免除匈奴對趙國邊民的襲擾，他廉潔奉公，「市租皆輸人幕府，為士卒費」，因而深得士兵的擁護。同時，堅持慎重防守的方針，憑長城之險，加強戰備。他在雁門數年，「習射騎，謹烽火，多間諜。」使匈奴數歲無所得，而趙軍則兵強馬壯，願為一戰。此時，他才選用精兵良馬，巧設奇陣，誘敵深入。「大破匈奴十餘萬騎。」其後十餘年，匈奴不敢寇趙。後人稱李牧為「奇才」，並在雁門關建「靖邊寺」，紀念其戍邊保民的戰功。
秦始皇統一六國後，派遣大將蒙恬率兵三十萬，從雁門出塞，「北擊胡，悉收河南之地」（即河套地區），把匈奴趕到陰山以北，並且修築了萬裡長城。當地人傳說，蒙恬死後葬於代縣境內。現在上門王村有一座蒙恬墓遺址，其斷碑尚存，還可看清：「秦蒙恬將軍墓」，及「清嘉慶」等字樣。據史學家考證，蒙恬墓在陝西境內，此地乃傳說而已。
漢代的雁門，更是風雲多變。漢高祖劉邦時期，匈奴曾南逾勾注，直驅晉陽（太原）。為此，公元前201年，劉邦親率三十多萬大軍，抵達平城（山西大同），抗擊匈奴。可惜，被匈奴用計誘入，困於平城白登山達七日之久，最後用重金財物賄賂了單于閼氏（匈奴王的妻子）才得以解脫。漢武帝繼位後，面對匈奴不斷猖狂的南犯，著手反擊。漢朝名將衛青、霍去病、李廣等都曾馳騁在雁門古塞內外，多次大敗匈奴，立下汗馬功勞。「猿臂將軍」李廣在做代郡、雁門、雲中太守時，先後與匈奴交戰數十次，被匈奴稱為「飛將軍」。一次，他出雁門，兵敗被俘。在敵軍兩馬之間的網兜裡，他表面佯死躺下，心裡卻在等待機會。突然，他騰躍而起，將一胡兵推下馬去，立即奪馬取弓策馬南馳數十裡，復收餘軍，殺退追兵，安全脫險。正是由於漢武帝時期創建了強悍的騎兵抵住了匈奴的南犯，才得以保護中原先進的經濟、文化的發展，換來了以後同匈奴的和睦相處。漢元帝時，有膽有識的王昭君就是從雁門關前簇後擁，浩浩蕩蕩，出塞和親的。從此以後，這一帶出現了「遙城晏閉，牛馬布野，三世無犬吠之警，黎庶無幹戈之役」的安定局面。
可惜，到了唐代，雁門古塞「胡」漢相爭，群雄逐鹿，戰事連綿。唐初，年事已高的薛仁貴為代州都督，鎮守雁門。據說，突厥進犯雲州時，薛仁貴曾率兵出擊。陣前，突厥人喝問：唐將是誰？唐兵答曰：薛仁貴。突厥人以為薛仁貴早死而不信。仁貴脫盔示面，突厥驚視失色，引兵而還。唐末五代，契丹（遼國）崛起於北方，危及內地。後晉石敬瑭向遼國自稱「兒皇帝」，割燕雲十六州與契丹。從此，在山西北部，雁門山就成為了後晉和契丹的分界線，雁門關也成為了中原王朝和少數民族地方政權相對峙的前沿陣地。
北宋初期，雁門關一帶是宋遼（契丹人）激烈爭奪的戰場。著名愛國將領楊業（又稱楊繼業）及其他楊家將士都曾在這裡大顯身手，為國立功。在宋太平興國四年（979），楊業任代州刺史兼三交駐泊兵馬都部署以後，曾多次以少勝多，大敗遼兵，當時人們譽楊業為「楊無敵」。雍正三年（986），在雁門附近的戰鬥中，由於統帥潘美的指揮失誤、臨陣脫逃和挾嫌報復，使楊業陷入重困，最後士卒全部覆沒，在朔州的陳家谷他自己身負重傷為遼兵所執，寧死不屈，終至絕食為國。後人為紀念他的戰功和忠貞精神，在雁門關北口立了「楊將軍祠」。
楊令公和佘太君的彩塑至今還凜然地靜坐在雁門附近的楊家祠內。