東漢末年，宦官幹政，人民苦不堪言，張角等人帶頭起義，起義軍都有黃色布袋做記號，所以大家稱黃巾軍。由於當時皇帝還小，無力指揮鎮壓叛亂，中央只能允許各地方郡守自行招兵買馬，鎮壓起義軍。
因此各地的郡守和州刺史手裡都掌握一定的兵權，就在這個時候，張郃參加了地方武裝。張郃最早是追隨韓馥，在鎮壓張角起義的過程中表現極為出色，為韓馥屢建奇功。隨著各個地方招兵買馬，黃巾很快就被鎮壓下去，黃巾軍的起義雖然失敗，都是從根本上動搖了東漢的統治地位。
由於地方的大量招兵買馬，地方實力大增，中央很難控制到地方。189年董卓入京，霍亂朝綱，搞得首都洛陽民不聊生，隨後各地便紛紛聲討董卓，不久後，各地諸侯共同結盟，史稱「十八路諸侯討董卓」。隨著董卓敗退，不久被呂布殺死。
董卓一死，各地諸侯就紛紛開始打著自己的如有算盤。十八路諸侯解體後各路諸侯開始自己地盤擴張計劃。張郃在追隨韓馥期間雖然屢次建奇功，但是並沒有得到重用，袁紹在河北地區大張擴張領土的時候，就把勢力弱小的韓馥順帶給滅了，張郃本身對韓馥也沒有什麼感情可言，索性就投降了袁紹。
在跟隨袁紹期間，在攻打公孫瓚也屢建奇功，還與當時名將趙雲單挑過，可惜敗了，畢竟趙雲是五虎上將之一，敗了也不丟人。袁紹為人也是格局小，不知道重用人才，張郃在袁紹陣營了不僅沒有得到重用，反而在官渡之戰的時候被猜忌。隨著統一北方四州後開始對中原的曹操虎視眈眈，而曹操也在南方各個諸侯虎視眈眈的情況下積極備戰。
官渡之戰爆發後，前期曹操處於不利的局面，隨著袁紹在用人方面的錯誤決策，導致袁紹陣營開始出現人才往曹操陣營流失的現象。就在這樣的一個背景下張郃率部投靠了曹操，這對袁紹來說可是致命一擊，張郃投操後，烏巢就失去了援軍，曹操就這樣輕鬆的襲擊了袁紹大營，就這樣袁紹大敗於官渡。
在投靠曹操後張郃不僅得到了曹操的重用，而且還還得到了曹操充分的認可。官渡之戰後，曹操繼續向北剿滅袁紹殘餘勢力。張郃一直跟隨。在攻擊袁潭的戰鬥過程中，張郃也是屢建奇功，非常得到曹操的賞識與重用。曹操本身就非常愛惜人才，所以對張郃一直是非常信任。
張郃追隨曹操南徵北戰三十幾年，成為了曹操陣營的五子良將，五子良將在曹魏陣營當中地位是非常高的。張郃在赤壁之戰後就一直退居二線，直到曹操去世後，曹丕的繼位張郃重新被用到了前線。
225年曹丕任命張郃等人守長安地區，不久後曹丕因病去世，其子曹睿繼位，在政權交接的時間裡，蜀漢的諸葛亮果斷北伐。在北伐的過程中屢戰屢勝，一路攻城掠地，這時曹睿不得已重新任用了司馬懿，司馬懿立即在祁連山一帶做了部署，而這一次的北伐諸葛亮誤用了馬謖，失了街亭。
由於在用人方面的失誤，諸葛亮只能撤軍以減少損失，在撤軍的過程中，諸葛亮也做了很多埋伏，諸葛亮在得到張郃在後追擊的情報後，果斷在木門道地區埋伏，由於木門道兩邊有高山，便於埋伏。由於曹軍在街亭勝利後，有些驕兵，追擊勢頭有些猛烈，讓張郃沒有考慮到諸葛亮會設伏。由於疏忽大意，張郃最終在木門道被諸葛亮設下的伏兵亂箭射死。
張郃之所以在後期那麼牛，是因為很多名將都已經過世，在赤壁之戰之時，這個時期的漢末人才濟濟，張郃都排不上號，到了三國鼎立的時期，各個名將相繼去世，最後一個五虎上將也走了，所以後期只有魏延能與之匹敵。