甲午戰爭證明了當時中國軍力還是落後，舊軍必須改造，光緒皇帝接受德國軍事教習漢納根的提議，準備新建一支10萬人的新式軍隊，朝廷就命令淮系將領廣西按察使胡燏芬練兵，胡燏芬接手後，招募了十個營的士兵，稱作定武軍，之後兩江總督張之洞在南方也組建了一支軍隊自強軍，1895年10月袁世凱接管定武軍，改名為新建陸軍，後來因為袁世凱和張之洞分別出任北洋大臣和南洋大臣，這兩支新軍也就被稱為北洋新軍和南洋新軍，新建陸軍是中國陸軍近代化的開端，開頭規模不大，人數7000多人，但是袁世凱會經營，北洋新軍迅速崛起，到了清末民初逐漸衍生出一個強大的武裝政治集團——北洋軍閥。
隨著新軍的建立，舊軍逐漸淘汰，1895年6月淮軍裁併工作全面開始，南洋地區的淮軍19營，只保留了8個營，這種局面李鴻章也無能為力，值得慶幸的是，直隸總督聶士成的武毅軍18營擴充成30營，部分北洋海軍保留下來，李鴻章對於聶士成寄予厚望，親自寫信給聶士成，希望聶士成能夠重振淮軍雄風。李鴻章在被廢居京師的時間裡，閉門謝客，韜光養晦。1896年2月李鴻章接受了出使歐美的重任，即使在外交上遭遇了失敗，但是在軍事、經濟和政治制度的發展，李鴻章還是自嘆不如，看到訓練有素的德國御林軍、英國47艘軍艦艦隊，李鴻章感慨萬千。在美國李鴻章看到了經濟發展，希望美國資本家到中國投資，但是這些企業的管理權必須在清政府手中，對於報紙，李鴻章直言編輯不敢說真話。最後李鴻章途徑日本時，李鴻章因為馬關條約拒絕登陸日本，只好在輪船招商局的輪船和美國輪船之間搭上跳板，顫巍巍的踏上歸程。