張最早是冀州牧韓馥的部將，韓馥將冀州讓給袁紹後，張又成為袁紹的部將，官渡之戰中，曹操突襲烏巢，袁紹不聽的意見發重兵救援烏巢，反而讓張郃率重兵攻打曹操的大本營，結果曹操大本營沒有拿下來，袁紹的烏巢被曹操端了，張郃同時還受到了郭圖的誣告，於是投降了曹操，被封為偏將軍，從此開始為曹操徵戰。
張郃參與了官渡之戰後曹操平定北方的所有戰役，還率軍討伐公孫度的東萊郡，以及陳蘭、梅成的叛亂，參與了平定馬超、韓遂的渭南之戰，之後成為徵西將軍夏侯淵的副手，隨夏侯淵一起鎮守關中及漢中等地。
夏侯淵算是曹魏西部戰區最高軍事指揮官，西部戰區包括了關中、涼州、隴右以漢中一帶，這裡地域遼闊，民族複雜，地形獨特難行，是曹魏五大戰區中，管轄面積最大、形勢最複雜、地形最獨特的戰區，所以壓在夏侯淵以及張郃肩膀上的擔子很重，也很複雜。
曹操徵漢中張魯時，作為先鋒率軍五千在前面開道，張魯投降後，曹操平定漢中，讓夏侯淵、張郃、徐晃等人鎮守漢中，同時派出張率軍南下侵襲劉備的巴東和巴西二郡，張郃成功地把當地人口遷走，但也遇到了萬人敵之一的張飛，雙方爆發了戰爭。
張飛與張郃第一次交戰，也是唯一一次交戰，就發生在當時，張是入侵者，張飛是防守者，張郃與張飛雙方的軍隊差不多各有一萬餘人，兩人也在巴西郡宕渠對峙了五十多天，之後張飛打破了僵局，從小道率軍攻打張，張郃由於狹窄難行，首尾不能相顧，所以被張飛打得全軍覆沒，只帶了十幾個人，拋棄了馬匹才成功逃走。
按理說遭遇如此大敗肯定有處罰吧，實際上不僅沒有被處罰，而且還升了官職，被封為蕩寇將軍，其中的原因應該是張郃完成了遷民的任務，雖然他被張飛打敗了，但是巴西和巴東二郡的人口被張郃成功遷走不少，要知道當時的人口就是第一生產力，人口遠比土地和城池還要重要，不僅僅是巴西郡和巴東郡，而且連漢中郡的人口也被曹操遷走了很多。
之後，張郃與夏侯淵開始鎮守漢中，直到劉備發動漢中之戰，劉備打漢中之戰打了兩年多，還在靠著法正奇謀，誘使夏侯淵離開陽平關駐地，到定軍山與劉備爭制高點，劉備採取了聲東擊西之計，假裝重兵攻打張郃，迫使夏侯淵分一半兵救援張郃，然後以重兵攻打夏侯淵，黃忠一馬當先斬殺夏侯淵於定軍山，夏侯淵一死，曹魏的漢中防線幾乎要崩潰。
當黃忠斬殺了夏侯淵的消息傳到劉備這裡來，劉備卻說了一句讓所有人都意外的話，劉備說：
要殺就殺張郃，殺夏侯淵有什麼用？
劉備這麼說是什麼意思？殺夏侯淵怎麼會沒用呢？夏侯淵可是曹魏西部戰區最高軍事指揮官，夏侯淵的特長在於作戰勇猛，而且突襲非常快，當時還流傳一句關於夏侯淵的俗語，是這麼說的：
典軍校尉夏侯淵，三日可行五百裡，六日可赴千裡。
這裡指的是夏侯淵打仗行軍速度非常快，要知道兵貴神速，這也是夏侯淵多次打勝仗的原因，但是夏侯淵同樣還有個外號叫「白地將軍」，這意思就是說夏侯淵沒有謀略和城府，作為一名統帥來說，光靠勇猛和神速是不行的，還需要謀略和城府，但是夏侯惇不具備，所以被稱為白地將軍，那麼誰具備呢？當然是張郃。
張郃在三國中的特點是：用兵巧變、善列營陣，長於利用地形著稱。也就是說善於用兵，善於列陣，善於利用地形作出有利的判斷和決策，這正是夏侯淵所不具備，夏侯淵之所以是統帥，除了能力之外，是因為夏侯淵是曹操的宗親，而曹操手下沒有外姓將領可以當類似軍區最高指揮官的職務，不是能力不行，而是身份和信任問題，曹操不信任外姓將領，所以張郃當不了統帥。
再回過頭來看劉備所說的話，因為劉備不怕白地將軍夏侯淵，怕謀略將軍張郃，劉備希望殺了張郃，那樣對蜀漢的好處就會更大，因為張善於謀略，夏侯淵不善於謀略，劉備可以使用計謀騙過夏侯淵，但是沒法使用計謀騙過張郃，這就是兩人的區別，只要張郃被殺，即使夏侯淵活著，也免不了失敗，但是夏侯淵被殺呢？張卻可以接過夏侯淵的班，當了曹魏關中臨時統帥，是臨時的，所以殺了張郃看起來比殺夏侯淵作用更大。
張郃作為五子良將之一，是活得最長的一個，樂進死於公元218年，于禁死於221年，張遼死於222年，徐晃死於227年，而張郃死於231年，所以當曹操的老一輩名將相繼去世之後，張郃卻作為唯一的名將一直活到了諸葛亮北伐之後，也是唯一一個活到諸葛亮北伐時期的五子良將之一，張郃從鎮壓黃巾起義開始算起，在231年去世，其軍事生涯就有47年，就算張郃從20歲開始參軍作戰，被諸葛亮射殺時也有67歲了，這個年齡作為前線打仗的將領來說，已經是古稀之年了，所以諸葛亮也忌憚張郃。
畢竟整個魏國除了張郃之外，再也沒有一個經歷過如此長軍事生涯的名將，即使是曹真，也只能算曹操的後一代將領，而且還早於張去世，而司馬懿則算不上曹操時代的名將，當時也沒有多少名聲，與諸葛亮對戰時，司馬懿也僅僅只能防守，而不像這樣用兵巧變。
是在諸葛亮第四次北伐撤退奉司馬懿的命令追擊時被諸葛亮射殺的，張郃的能力不至於分不出諸葛亮撤退時設有埋伏，但肯定是諸葛亮有引誘張郃上當的計謀，否則不能理解一個身經百戰打了大半輩子仗的張郃，居然也會中了埋伏，諸葛亮雖然忌憚張郃，卻殺死了曹魏最後的名將，從此之後，曹魏只有一個名將，就是司馬懿了。