最初的成立
1912年革命取得成功，北洋政府接受了一批原屬於清朝的海軍裝備以及一批海軍人才，設立了當時的中華民國海軍部。但是然而受限於經費不足，加上後續國家爆發延綿日久的軍閥內戰，民國海軍發展進入停滯期。
之後北洋政府參與第一次世界大戰成為勝利國，使得當時海軍獲得第一批戰利艦，但因中國陷入南北內戰，1918年後世界各國決定對中國實施軍武禁運，海軍的建軍進入死寂狀態。
事情的轉機出現在1928年，當年北伐戰爭剛剛結束。解除禁運後，十年建設期間海軍才有較大規模的建艦計劃。
十年發展
時間來到十多年後的日本侵華前期。當時經過10年黃金年代的發展，艦隊從1928年最初的44艘大小軍艦，排水量3萬多頓發展到抗戰前夕的58艘軍艦，排水量5萬噸以上的規模。
從艦隊的數量來看，當時中央海軍下轄有民國海軍第一艦隊、第二艦隊、練習艦隊、巡防艦隊、測量隊、第三艦隊（原東北海軍艦隊）、廣東江防艦隊（原廣東艦隊）、快艇大隊等艦隊。
自沉江底
抗日戰爭爆發後，中國與日本雙方在海軍的實力上差距極其懸殊。相較於總排水量5萬噸的中華民國海軍，日本海軍的總排水量達到了120萬噸以上。
1937年淞滬抗戰爆發後，蔣介石命令海軍部長陳紹寬上將急調海軍主力第一艦隊秘密封鎖當時日本海軍第三艦隊的10艘戰艦。但消息走漏，日本特務機關提前得知了消息。無奈之下，蔣介石下令將幾十艘被徵用的商船和當時海軍陳舊不堪的8艘艦艇沉入江底，用來阻斷長江水道。
之後經過日軍幾次的圍剿，沒有任何空中支援的中國海軍損失慘重。其中包括沉入江底的 「平海」艦、「逸仙」艦、「健康」艦等主力戰艦。
1939年，中央政府為了節省經費，將海軍部降為中華民國海軍總司令部。再加上海岸線的喪失，海軍只能利用僅剩的少量炮艦在內河與內湖布雷，阻撓日軍利用河道將船艦、軍隊及補給深入中國內部。
起義反抗
抗戰勝利後，民國政府的海軍接收日本降艦數十艘，美國也贈與登陸艦20餘艘、護衛艦數艘，使得海軍得以重建。
第二次國共內戰於1949年接近尾聲時，渡江戰役的勝利使得大部分海軍撤出長江，另有大量海軍官兵因與中央政府長期不和，進而脫離民國海軍加入中國人民解放軍海軍。其中有記錄的一次是在1949年3月24日，毛澤東和朱德熱烈慶祝了「重慶」號巡洋艦官兵起義的事件。
尾聲
1949年5月，民國的海軍總司令部首先撤退到臺灣地區。到了1950年，蔣介石政府整體撤往臺北後，之前留在大陸地區的剩餘海軍艦隊也在多次海戰失利的情況下，分別由舟山群島、海南島撤退到了中國臺灣。