戰國時，戰國七雄除秦以外的其餘六國曾聯合對抗秦國，但秦國在函谷關成功抵禦住六國聯軍的攻勢。西漢賈誼的政論名篇《過秦論》寫道:"於是六國之士……嘗以十倍之地，百萬之眾，叩關而攻秦。秦人開關延敵，九國之師，逡巡而不敢進"，其中的"關"就是指函谷關，可見其戰略影響。
函谷關建於春秋戰國之際，"因在谷中，深險如函而得名。東自崤山，西至潼津，通名函谷，號稱天險"(《辭海》)。函谷關扼守崤函咽喉，西接衡嶺，東臨絕澗，南依秦嶺，北瀕黃河，地勢險要，道路狹窄，素有"車不方軌，馬不並轡"之稱。
《太平寰宇記》中稱"其城北帶河，南依山，周回五裡餘四十步，高二丈"。關城宏大雄偉，關樓倚金迭碧，因其地處桃林塞之中樞，崤函古道之咽喉，素有"天開函谷壯關中，萬古驚塵向北空"(唐·胡宿詩)，"雙峰高聳太河旁，自古函谷一戰場"(金·辛願詩)，"一夫當關，萬夫莫開"之說。
周慎靚王三年(公元前318年)楚、趙、魏、韓、燕五國伐秦，秦據函谷關天險大敗六國軍隊。秦始皇六年(公元前241年)，楚、趙、魏、韓、衛五國伐秦，"至函關，皆敗走"。戰國時魏佔函谷關而鎖秦，秦佔函谷關而出山東。六國合縱攻秦也全是以函谷關為戰場，秦末楚漢戰爭中，劉邦曾守關阻擋項羽進攻。唐"安史之亂"中，官兵與叛軍在關前進行了著名的桃林之戰。
自春秋戰國以來的兩千多年中，函谷關歷經了七雄爭霸、楚漢相爭，黃巢、李自成農民起義，以及辛亥革命、抗日戰爭、解放戰爭的狼煙烽火，無論是逐鹿中原，抑或進取關中，函谷關歷來都是兵家必爭的戰略要地，可見函谷關的重要性,也是山東入關中的重要通道。.
古代處於洛陽至西安故道中間的崤山至潼關段多在澗谷之中，深險如函，古稱函谷。戰國時秦孝公從魏國手中奪取崤函之地，在此設置函谷關。此關關城東西長7.5公裡、谷道僅容一車通行，素有"一夫當關、萬夫莫開"之說。
長達五十公裡的峽谷，東頭是函谷關，而西頭就是潼關。"歷史上發生在函谷關的重要戰爭達13次，而潼關則多達45次。"常駐重兵，少則數萬，多則幾十萬，這段峽谷在軍事上的作用被歷代君主銘記。
據《史記》記載:春秋末期，柱下史老子李聃看到周室將衰，西渡隱居。公元前491年，函谷關令尹喜，清早從家裡出門，站在一個土臺上看見東方紫氣騰騰，霞光萬道，觀天象奇景，欣喜若狂，大呼："紫氣東來，必有異人通過。"
忙令關吏清掃街道，恭候異人，果然，見一老翁銀髮飄逸，氣宇軒昂，並且倒騎青牛向關門走來。尹喜忙上前迎接，通報姓名後，誠邀才子在此小住。才子欣然從命，在此著寫了彪炳千秋的洋洋五千言《道德經》。以後，函谷關一帶的門楣或春聯都肯寫"紫氣東來"，流傳至今，表示吉祥 。
函谷關歷史上有兩座，秦關位於河南省靈寶市北15公裡處的王垛村，後西東移，漢關位於距三門峽市約75公裡位於洛陽新安縣，地處"兩京古道"，緊靠黃河岸邊，因關在谷中，深險如函，故稱函谷關。
漢獻帝初平二年，群雄起兵討伐董卓，董卓強行將漢獻帝從洛陽遷到長安時，就以函谷關堅固易於防守為理由。魏正始初，從弘農太守孟康言，移函谷關，更號大崤關，又為金關。
函谷古道東起弘農澗西岸的函谷關東門，橫穿關城向西，由王垛村的果溝、黃河峪、狼皮溝至古桑田(今稠桑)，全長15公裡，是這一帶唯一的東西通道。谷深50~70米，谷底寬10米左右，窄處只有2、3米，谷岸坡度40~80度，谷底有蜿蜒道路相通，崎嶇狹窄，空谷幽深，人行其中，如入函中，關道兩側，絕壁陡起，峰巖林立，地勢險惡，地貌森然。古書上說函谷關道"車不分軌，馬不並鞍"，"一泥丸而東封函谷"。
甚至有傳說說古函谷關並不僅僅是一個簡單的關隘，因為老子西出函谷後消失在了人世間，從此再也沒有了音信，這更是給了這座雄關蒙上了一層神秘面紗。有人說古函谷關有兩座，一座是凡世間的關隘，一座是通往異界的關隘，而關隘的守將就是尹喜，老子當時走的就是那座通往其他世界的函谷關，所以後來世間關於老子的記載都在他出函谷關那一刻消失了。