司馬懿這輩子最怕的有兩個人，一個是他的主子曹叡，另一個就是疆場上的對手諸葛亮。諸葛亮一共五次北伐，其中第4次，第5次的對手就是司馬懿。
建興九年諸葛亮第4次出師北伐，諸葛亮由祁山道北出，包圍了祁山。諸葛亮同時聯絡了鮮卑的軻比能一同舉兵。這時候又趕上曹真病重，對於曹魏來說西北局勢非常吃緊。於是鎮守宛城的司馬懿被曹叡徵召入朝。司馬懿由西南軍區總司令，轉任西北軍區總司令，屯駐長安。
司馬懿當時手下有張、郭淮、費曜、戴陵等大將，司馬懿派費曜、戴陵領4千人守天水的。自己則帶著主力來勢洶洶，要救援祁山。對於主力全部出動，有不同意見。張郃認為應該分兵在雍縣和縣防守，防止諸葛亮派軍切斷魏軍的糧道和後路。司馬懿否定了張的建議，司馬懿認為如果前軍頂得住的話，敵人會想辦法斷糧道；頂不住的話，敵人直接往前推進就不會想著去斷糧道了。司馬懿這裡的潛臺詞是，如果分兵的話，自己是打不過諸葛亮的。
事實上張郃的預判是完全正確的，諸葛亮在出兵之前，給鎮守漢中督運糧草的李嚴出了上中下三策。其中上策就是出褒斜道斷魏軍的後路，不過李嚴沒採納這個上計。得知司馬懿帶大軍要到上邽，諸葛亮留下討寇將軍王平繼續攻打祁山。自己親率大軍直奔上邽，要和司馬懿剛正面。
上邽的郭淮和費曜想趁諸葛亮立足未穩，打諸葛亮一個措手不及，結果反被諸葛亮擊敗。諸葛亮趁機毀壞魏國上附近的麥子。司馬懿匆忙趕到東面的小隴山依險據守，雙方對峙了一個月，司馬懿始終不出戰。諸葛亮見魏晉不出，就假裝退軍，司馬懿見狀，緊追不捨，當諸葛亮到達滷城的時候，司馬懿也尾隨到了滷城。
車騎將軍張又有不同意見了，張郃說：「諸葛亮遠道而來，想要速戰，我們不給他機會，他們沒糧自然就退了。現在我們就駐紮在這，祁山守將知道我們來了，肯定會安心拒守。我們別老尾隨諸葛亮了，老跟著也不敢打，讓老百姓恥笑。而且我們可以派奇兵去斷了諸葛亮的後路。」
司馬懿不聽，繼續上山紮營，就是不肯交戰。諸葛亮出祁山就是要跟魏軍決戰的，魏軍不出戰，諸葛亮也很頭疼。這時諸葛亮做出了一個十分大膽的決定，把王平從祁山調到了滷城。這樣諸葛亮的整個北伐軍都集中到了滷城。祁山之圍一解，魏軍對蜀軍就形成了南北夾擊之勢。
諸葛亮為了引誘魏軍交戰，竟然主動讓魏軍包圍。都說諸葛丞相一生唯謹慎。其實有時候諸葛亮也是敢於冒險的，甚至不惜以命相搏。王平到滷城後，駐守南圍。祁山的守將賈栩、魏平被解圍後，覺得諸葛亮也沒什麼了不起。於是向司馬懿請戰。司馬懿還是不許，這幫將領就嘲笑司馬懿是「畏蜀如虎」。
將軍們不停地請戰，司馬懿也堅持不住了，他也認為時機差不多成熟了，南北夾擊，士氣高漲，勝面還是挺大的。五月辛巳，司馬懿終於按捺不住，命令張從南向北攻擊王平，而司馬懿則由道正面進攻諸葛亮。王平很穩，手下五部無當飛軍三千人，抵擋張郃數萬人的進攻，巋然不定。
沒有後顧之憂的諸葛亮令魏延、高翔、吳班兵分三路迎戰魏軍。漢軍大敗魏軍，斬甲首三千、 繳獲玄鎧五千領、角弩三千一百張。司馬懿敗退回大營，從此不敢再出戰。兩軍就這樣耗到了六月，下大雨，諸葛亮後勤糧草跟不上，只得退軍。
司馬懿這下來精神了，下令張郃追擊。張都要哭了，跟司馬懿說：「諸葛亮又不是打敗了才撤軍，人家是沒糧食了，主動有序地撤軍，追擊佔不到便宜。」司馬懿心想：「讓你話多，就讓你去。」司馬懿堅持要張郃追擊，官大一級壓死人，張郃只得硬著頭皮追諸葛亮。諸葛亮在木門道設下埋伏，張郃進入伏擊圈，被無當飛軍射中，膝蓋中了一箭，傷重而死。
雖然取得了部分勝利。但諸葛亮的第四次北伐還是以失敗而告終。但是最糟糕的是，諸葛亮把司馬懿打怕了。司馬懿從此學會了龜縮大法，這對北伐非常不利。
建興十二年春天，等了三年的諸葛亮，再次出師北伐。這次諸葛亮由褒斜道北出，駐紮在五丈原。諸葛亮吸取之前的教訓，穩紮穩打，打到那就在那屯田。做好了長久戰鬥的準備。司馬懿駐紮在渭水南岸和諸葛亮對峙。諸葛亮百般挑戰，司馬懿拒不出戰。
司馬懿這時候其實用的就是當初張郃的計謀。諸葛亮遠來堅持不了多久，跟他耗，沒必要硬碰硬。當然諸葛亮手下的漢軍戰鬥力太強，魏軍硬碰硬還真打不過。諸葛亮用激將法給司馬懿送女人衣服。司馬懿本來就是戲精，他假裝生氣要和諸葛亮決戰。但是這麼大的事要走程序，得皇帝批准才行。然後千裡之外的司馬懿上表曹叡，請求決戰。這一來一回一個月就過去了。曹叡是個聰明人，他知道司馬懿想幹什麼。於是曹叡派辛毘拿著皇帝的符節，站在軍營門口，誰要敢出戰就斬誰。司馬懿和手下將領一攤手說：「你們看，不是我不敢出戰，是皇帝不讓我們出戰。」
諸葛亮早就看穿了司馬懿的用意，但是他也無可奈何，在相持了100多天後，諸葛亮在軍中與世長辭。出師未捷身先死，長使英雄淚滿襟。漢軍退走後，司馬懿查看漢軍留下的營地後，感嘆道：「諸葛亮真是天下奇才。」司馬懿感嘆諸葛亮是天才，有兩層用意。第一：諸葛亮真的是個天才。第二：我司馬懿打不過這樣的天才，不丟人，你們這幫人也別笑話我。
不可否認司馬懿是個優秀的將領和統帥。但是他打不過諸葛亮是不爭的事實。打不過，就防守，司馬懿在打遼東時就是這麼對公孫淵說的。從戰略層面講，司馬懿堅守不出是對的。司馬懿沒有必要去冒險，和諸葛亮決戰。但是作為一個名將，靠龜縮取勝，實在丟人。司馬懿其實一開始是想尋找戰機決戰的。但是跟諸葛亮打了一次後，發現諸葛亮治軍真是太牛逼了。在被包圍的情況下，漢軍不但不亂，還反擊將自己擊敗。這太可怕了，幹嘛要和這種軍隊打。
有人說司馬懿不是怕諸葛亮，而是要養寇自重。這有點扯了，司馬懿打孟達，平遼東怎麼不養寇自重。當時可是曹叡執掌天下，司馬懿根本不敢。曹叡要弄死司馬懿分分鐘的事。司馬懿靠防守挫敗了諸葛亮的北伐，但是司馬懿心中憋著氣。當他徵遼東的時候，這氣全撒在了公孫淵身上。
所以不管從能力還是操守來看諸葛亮都要強於司馬懿。諸葛亮以一州之地面對擁有九州的曹魏。卻常懷吞併河洛之志，打得司馬懿做縮頭烏龜。所以誰強一目了然。連司馬懿的孫子司馬炎都是諸葛亮的鐵桿粉絲。至於說北伐的失敗，只能說國力差距太大，丞相已經做了他該做的，盡人事、聽天命吧。