臺灣海軍包括艦艇部隊、海軍陸戰隊、海軍航空兵和岸/艦飛彈部隊。
「海軍總司令部」是臺灣海軍的最高統帥機關，通過海軍作戰指揮系統、教育訓練系統及後勤支援管理海軍部隊。海軍司令通過參謀長對海軍艦隊、軍區、海軍陸戰隊、兩棲部隊實施指揮，並有權使用海軍航空兵。
臺灣海軍艦隊由艦隊司令管轄，包括兩個驅逐艦艦隊、兩個登陸艦艦隊、潛艇艦隊、掃雷艦隊、反潛艦隊、勤務艦隊以及包括北區和南區巡邏運輸支隊、飛彈艇大隊在內的第62特遣部隊（擔任日常作戰勤務）。
軍區是臺灣海軍的主要陸面機構。臺灣海軍依據臺灣海區地理狀況和作戰任務，劃分為第1、2、3軍區和中正基地指揮部，直屬海軍司令部。軍區司令部在轄區內為海軍最高行政機構。軍區司令對本轄內的海區、海軍基地的防務負責，還負責保障部署在轄區內的艦隊兵力、岸防部隊、機關和其他軍事設施的活動。軍區轄區範圍內的海軍其他陸上機構均受軍區司令部督導監察和行政管理。軍區以下劃分為若干軍分區，並設有相應的陸地機構，即基地指揮部。在烏丘、東沙及南沙設有3個守備區。
海軍第1軍區管轄範圍包括臺灣南部、南中國海各島，有2個海軍基地：左營和高雄。左營是臺灣海軍的主要基地，艦隊和軍區司令部以及海軍陸戰隊、登陸艦隊、掃雷艦隊、飛彈艇大隊、南區巡邏運輸支隊的司令部均設在這裡，另外還有海軍院校、醫院及造船廠等。高雄是驅逐艦隊司令部所在地，也有海軍造船廠等其他設施。
第2軍區管轄範圍包括澎湖列島、臺灣海峽南部；有馬公海軍基地，是軍區司令部所在地，也設有海軍院校、醫院和造船廠。
第3軍區管轄範圍包括臺灣北部、臺灣海峽北部、馬鬃山群島；有基隆海軍基地，是軍區司令部以及北區巡邏運輸支隊司令部的所在地。
臺灣海軍的後勤保障體系較為完善，其造船工業能力完全可以滿足臺灣自身防務的需要。目前，臺灣共有大小船廠約200家，分布在高雄、基隆、臺南、蘇澳港等6個地區。這些造船工業能夠設計建造各種大中型民船和較大的軍用輔助船。但不具備較大艦艇的設計能力。由於特定的歷史原因，臺灣的艦艇修理改裝能力較強。臺灣曾對二戰時期美國製造的驅逐艦和護衛艦進行不同程度的現代化改裝，某些性能超過了20世紀80年代世界驅、護艦的先進水平。
海軍陸戰隊。臺灣海軍陸戰隊約3萬人，佔臺灣海軍總人數的1/2，由2個海陸師（第66師和第99師，分別部署在高雄和臺北）、1個坦克營、1個勤務團、1個蛙人隊和1個航空通信大隊及其他增援部隊組成。其裝甲力量包括：160輛美制M—60A3型主戰坦克和700輛左右美制LVT—4/5型裝甲車、V—150型水陸兩棲車、M41型輕型坦克、CM—25兩棲裝甲車、SIBMAS6×6兩棲人員輸送車等軍用車輛。其中V—150和LVTP—7型裝甲車上加裝了「陶」式和「昆吾」式反坦克飛彈。在火炮系統方面，臺灣海軍陸戰隊配備了105毫米和155毫米牽引炮，M—109A2（155毫米）和M—110A2（203毫米）自行榴彈炮；106毫米無後座力炮；60毫米，80毫米和120毫米迫擊炮；在防空火力方面，裝務有美制M—42「清道夫」40毫米雙管自行高炮。M—48「小檞樹」防空系統，
臺灣海軍陸戰隊是參謀總部的戰略預備隊，直接受參謀總部指揮，以「永遠忠誠」為隊訓，自詡為「參謀本部的兩隻鐵拳」。他們的前身是第一師，又有「天下第一師」之稱。在陸戰隊60師和99師的營地中，一部分運兵車上永遠裝有武器、彈藥、糧食，只要幾分鐘，上萬部隊就可以立即出動。
為了跟上世界水準，臺灣海軍陸戰隊主要聘請美國教官進行訓練。