如果說，在智力上，曹操與司馬懿尚可以互爭雄長的話，那麼曹操的子孫曹丕、曹叡在司馬懿面前就只能是矮子了。固然，他們兩人在帝王群體中都可以稱得上是「天姿秀出」、「才藝兼該」的。
連主張「無為而治」的老子都懂得「國之利器，不可以示人」。但是曹家的這兩個皇帝卻拱手把軍事大權託付給他們父祖最不放心的司馬懿。曹操死後不久，曹丕就任命司馬懿為督軍。公元224年（黃初五年），曹丕南巡又封司馬懿為撫軍，假節，領兵五千鎮守後方。這是司馬懿第一次獲得軍事指揮實權。第二年他又以司馬懿為蕭何，命令道：「吾東，撫軍當總西事；吾西，撫軍當總東事。」此時的司馬懿，儼然可以與皇帝平分秋色了！
又過了一年，曹丕病死，司馬懿是顧命大臣，與陳群、曹真並受遺詔，輔助二十二歲的青年皇帝曹叡。是這是司馬懿春風得意、大展雄圖的時期。
曹丕剛死，孫權即發兵圍攻江夏（治今湖北雲夢西南），遣諸葛瑾、張霸並攻襄陽（今湖北襄樊）。司馬懿督領諸軍討伐孫權。這是司馬懿第一次親率大軍，掛帥出徵。這次出徵旗開得勝，敗諸葛、斬張霸，大顯威風。班師後，封驃騎大將軍，並加督荊、豫二州軍事。
荊襄之役，不過是小試牛刀。接著是平定孟達。孟達原是蜀國的將軍，投降魏國，任新城太守，駐上庸（今湖北竹山西南）。這時，他又想聯絡吳蜀，發展自己的勢力。諸葛亮使用離間計，將這一消息洩漏給魏魏國。孟達聽說自己的密謀被洩，打算舉兵起事。司馬懿急忙寫信穩定孟達，他假裝不相信孟達會反叛魏國，說這都是諸葛亮的挑撥。孟達得信有喜色，對舉兵起事猶疑不決。司馬懿卻乘機急速發兵，大軍倍道兼行，八日急行八百裡，到達上庸城下，然後八道進攻。孟達驚呼：「吾舉事八日，而兵至城下，何其神速也！」這次戰役，因為孟達來不及準備守城工事，所以上庸很快即被攻破，孟達被斬。上庸之戰，充分顯露了司馬懿的性格特徵。他一面假意安撫，以誠相待；一面調兵遣將，直赴城下。
司馬懿東線打勝仗的時候，諸葛亮正在傾注全國兵力進軍漢中。此後又不斷兵出祁山，魏國西線處於緊張狀態。於是，曹叡給司馬懿加大都督，要他討伐蜀國。從此，同馬懿成為統領諸軍、反擊諸葛亮進攻的西線主將。
諸葛亮勞軍遠徵，軍需困難，利在速戰。司馬懿看準諸葛亮的弱點，以逸待勞，持重應變。諸葛亮幾次挑戰，他都堅壘不出。諸葛亮送他巾幗服裝譏諷他，眾將士群情激憤，他仍能保持清醒頭腦，克制自己和部下的情緒，不為諸葛亮的激將法所動搖。諸葛亮拿他沒辦法，最後積勞成疾，憂憤而死。
司馬懿因西拒諸葛的功績，由大將軍遷升太尉。
但西拒諸葛並非司馬懿軍事生涯中的華彩樂章，司馬懿軍事生涯中的得意之筆是東徵遼東。
公元237年（景初元年），遼東大守公孫舉兵造反，曹叔急召司馬懿進京，要他領兵出徵。
天子曰：「君度其作何計？」
對曰：「棄城預走，上計也；據遼水以距大軍，次計也；坐守襄平，此成擒耳！」
天子曰：「其計將安出？
對曰：「惟明者能深度彼己，預有所棄，此非其所及也。今懸軍遠徵，將謂不能持久，必先據遼水而後守，此中下計也。」
天子日：「往還幾時？」
對日：「往百日，還百日，攻百日，以六十日為休息，一年足矣。」（《晉書帝紀第一》）
「上兵伐謀」。洛陽宮殿中，曹叡和司馬懿這場戰略對話是中國古代戰史上精彩的謀攻篇。你看這司馬懿，三軍未動而已胸有成竹。他連敵軍如何行動，我軍如何進擊，往幾日，攻幾日，還幾日，一切切的一切都運籌好了。
司馬懿既能料敵虛實強弱之情，又能度地險厄遠近之形。真是「運籌帷幄中，決勝千裡外」。仗還沒有打，勝利就在握了。
事情的發展，果如司馬懿所料。當司馬懿的四萬大軍經孤竹、越碣石次於遼水時，公孫淵果然如同司馬懿預料的，先出「中計」，以步騎數萬阻遼水，「堅壁而守」。司馬懿甩開公孫淵的守軍，以「攻其所必救」的態勢，指揮大軍直指敵人的巢穴襄平（今遼寧遼陽市），公孫淵看見司馬懿去攻打襄平，只好從後面趕來救援，於是司馬懿「縱兵逆擊，大破之，三戰皆捷」。這時，公孫淵又只好按司馬懿的預料，再出「下計」，退守襄平。司馬懿進軍圍城，合圍後，晝夜進攻。公孫淵乞降不許，最後兵敗被殺。
對這次戰役，歷來兵家評價都很高。孫權說司馬懿「善用兵，變化若神，所向無前」，這11個字足字字應驗司馬懿是三國能和諸葛亮、周瑜比肩的超級大謀士。