公元546年，東西魏第五次大戰——玉壁之戰爆發。
當年十月，年過五旬的高歡又率大軍十萬圍攻西魏位於汾河下遊的重要據點玉壁（今山西稷縣）。西魏守將韋孝寬守城。
玉壁城中，兵士不過數千。高歡十萬大軍，晝夜攻城，一刻不停。韋孝寬目不交睫，指揮拒戰。西魏守軍從汾河汲水供城內人馬飲用，高歡派人改掘河道，一夕而成。他又在城南堆起土山，想憑高衝下入城。
韋孝寬在原先城樓上的兩個高亭之間綁縛木柱，一直使木橋高於土山，投石擲火，使東魏兵不能近城。
高歡派人對韋孝寬叫喊：「即使你韋孝寬搭樓上與天齊，我也會穿地入城取你人頭！」高歡軍士果然從地下挖掘地道，想從城根上挖穿湧入城中。
韋孝寬在城周挖出一條大溝，高歡兵只要從地道盡頭跌入長溝，馬上派人就地擒殺。他還在長溝內堆滿木柴，只要有地道通口暴露，就派人往洞口填塞柴草，放入火把之後，以氣排往地道內鼓氣，洞中東魏兵頓時燒焦成為爛骨。
高歡又用前面安有巨木尖鐵的攻車撞城，由於攻車極重極尖，撞上什麼馬上隨聲摧垮。韋孝寬縫製無數大布為巨幔，士兵搭吊兩端，隨攻車方向而轉移，由於大幔懸空，攻車以硬碰柔，撞物之前力量已經被消解一空。
此計不行，東魏兵又把松薪麻骨綁在長竿上，浸滿油燒著，想燒掉大幔同時焚著城門。韋孝寬又作利刃縛在長竿上，砍斷對方的長竿。
無計可施之下，高歡派人在城四周穿地道二十條，中間施以梁柱，再以猛火燃燒，地道內梁柱崩塌，好多段城牆也隨之塌毀。韋孝寬在城崩處又樹以大木柵，後面施以尖槊弓弩，東魏兵還是不能攻入。不久，韋孝寬又派人奪取了土山的制高點。
高歡派參軍祖珽說降韋孝寬：「您孤城據守，四方無救，最終只怕堅持不住，不如早早投降算了。」韋孝寬答道：「我城池嚴固，兵食有餘。攻者自勞，守者常逸。我怕的是你們軍隊回不去呀。我韋孝寬關西男兒，絕不會做投降將軍。」
祖珽於是對城中大喊：「城中有能斬韋孝寬的人，拜太尉，封開國公，賞帛萬匹！」並向城內射賞格（懸賞令）。韋孝寬在賞格背面親筆書寫「能斬高歡者也按此賞」。射還城外。
東魏苦攻玉壁五十多天，戰死病死七萬多人，都埋在一個大坑內。
久攻不下，又死了這麼多軍人，高歡憂憤發病，一臥不起。一天夜裡有大星墜於營中（古人認為隕石是將星墜落），高歡驚懼，解圍而走。
歸途中，軍中訛傳韋孝寬大弩射殺高丞相，西魏聞知此消息，又派大軍四處高喊：「勁弩一發，兇身自殞。」
為使軍心不致搖蕩，高歡不顧病重之身，在露天大營召集諸將宴飲以示自己還活著，並令斛律金唱敕勒歌：「敕勒川，陰山下，天似穹廬，籠蓋四野。天蒼蒼，野茫茫，風吹草低見牛羊。」高歡親自和唱，哀感流淚。