民國當然是有海軍的。雖然忙於軍閥混戰的各路軍閥既沒有興趣、也沒有足夠的財力經營建設海軍，但是，承襲清末殘存海軍的民國海軍，依然活躍在民國的歷史舞臺。不過，如同割據分裂的民國一樣，民國的弱小的海軍也分成了幾部分，如東北海軍、廣東海軍、渤海艦隊等等。
中國海軍近代的巔峰，應該在清末甲午戰爭之前。1888年，經過李鴻章數十年的苦心經營，北洋艦隊成為亞洲第一、世界第九大艦隊。然而，這支輝煌一時的艦隊在1895年的甲午戰爭中，卻慘遭全軍覆沒。
甲午戰爭失敗後，清政府並沒有放棄對海軍的建設，雖然限於財力，再沒有恢復北洋艦隊的巔峰，但是，通過購買、租借、建造等多種方式，清末海軍艦隊依然在緩緩恢復元氣。而清末重建的這支艦隊，也成為民國期間艦隊的主力。
辛亥革命勝利，中華民國建立後，在中華民國中央政府內，也專門設立了海軍部，負責總攬全國海軍建設事務。原海軍巡洋艦「海籌」艦艦長黃鐘瑛，擔任第一任海軍總司令兼海軍部部長。不過很快，袁世凱上臺之後，海軍部由劉冠雄出任部長。
劉冠雄對於清末的海軍艦艇和海軍學校進行了大力整頓。海軍艦艇被整編為第一、第二兩支艦隊，並增設練習艦隊。而對清末遺留的各類海軍學校，則劃分為海軍小學、中學和大學三級教育。
但是，始終未能統一的民國，根本沒有足夠的財力和動力去經營建設海軍，海軍的建設計劃幾乎一直停滯在紙面上，艦隊所增添的軍艦，也大部分來自於清朝定造的軍艦。
雪上加霜的是，由於中國脆弱的工業生產能力，大部分軍艦中國都只能從列強處購買。但是在華盛頓會議之後，各國列強達成了不援助中國海軍建設的意見，並締結了《禁止援助中國海軍協定》。中國海軍的建設進一步遭到了巨大打擊。整個北洋政府期間，中國的海軍不但沒有進步，反而開始倒退。
在袁世凱死後，原屬北洋政府的艦隊，大部分歸屬了曹錕和吳佩孚的直系。直系在第二次直奉戰爭中被張作霖擊敗後，艦隊大部被東北海軍收編，還有一部分則跑到廣東，投奔了廣州國民政府。
值得一提的是，在列強對中國海軍封禁的時候，張作霖的東北海軍異軍突起，並迅速成為當時中國最強大的一支海軍力量。張作霖依靠以沈鴻烈為首的留日海軍留學生，通過建立海軍學校、將商船改造、購買等方式，短短七年間，就將東北海軍建設成當時中國噸位最大，人數最多、實力最強的海軍隊伍。例如中國的第一艘飛機母艦鎮海號，就是東北海軍改造建設而成。
1928年，國民政府二次北伐勝利，併名義上統一全國之後，《禁止援助中國海軍協定》被廢除，同時，雄心勃勃的國民政府也實行了重建海軍計劃。但此時的中國海軍分為中央、東北、廣東、電雷系統四個派系，各自獨立，互不統屬，且彼此之間矛盾重重。
同時，由於派系紛爭和經費不足，雖然海軍在海軍部部長陳紹寬的率領下，艱難的訂造了如寧海艦等軍艦，但是，國民政府的海軍依然發展極為困難。而在全面抗戰爆發之後，弱小的中國海軍全力投入了對日寇作戰，並在封鎖江陰和對日作戰的過程中，幾乎損失殆盡。