21型潛艇堪稱潛艇發展史上的裡程碑，現代潛艇的雛形，正是以該型艇為藍本，各國才在戰後逐步設計出了威力強大的核潛艇，足見其地位之重要。總計有121艘21型潛艇建成入役，但其中形成戰鬥力的則屈指可數。
二戰期間，潛艇在大洋中神出鬼沒，慘烈的大西洋之戰中，這種恐怖的兵器幾乎將英國逼到了崩潰的邊緣。倘若21型潛艇早些成批入役，那麼大西洋上的盟國運輸船將慘遭屠戮。
隨著大西洋之戰以盟軍的勝利落下帷幕，德國已將新銳的21型潛艇視作救命稻草，未等樣艇試航便急不可耐地開始批量建造，為加快進度，德國方面決定採用分段建造法生產該型艇。
由於此前未進行任何樣艇測試，首批竣工的6艘21型潛艇根本無法投入實戰，只得轉為訓練用艇。事實上，21型潛艇的建造共需經歷3個階段：第1階段涉及32家船廠與結構工程單位，具體任務是將已由鋼廠切鍛成形的鋼板與龍骨構件組裝為耐壓艇體、外層艇殼與防水隔壁，而如此大規模的分散製造實際上也是盟軍轟炸下的無奈之選。第2階段，艇體構件製造完畢後便經由水路轉運至另外16家公司，由這些公司負責安裝纜線、管道及主、輔發動機。第3階段，舾裝完畢的艇體分段將由3家船廠負責進行整合焊接，並在交付海軍前對潛艇性能進行初步測試。
1944年5月下水的首艘21型潛艇U2501號因故無法執行作戰任務，直到1945年3月，該型艇才初步具備戰鬥力，而此時能夠出海作戰的也只有U2511號1艘。德國海軍一共訂購了740艘21型潛艇，只有21艘最終建成，而在宣告服役的55艘艇中，唯有2艘得以投入實戰。首艘參戰的U2511號後被部署至挪威的卑爾根港，並於5月初進行了服役生涯中唯一一次戰鬥巡邏。5月4日，該艇發現了1艘英國巡洋艦，有鑑於德國此時已投降在即，該艇艇長遂決定實施一次虛擬攻擊敷衍了事，從而避免了一場兩敗俱傷的塗炭慘禍。
21型潛艇擁有雙層艇殼，其水下航速較高，該型艇可在使用「爬行擋」電動機的情況下以3.5節的慢速進行低噪潛航。為增強艇體流線外形效果，21型潛艇的外層艇殼為輕金屬材質，而為彌補艇身強度，該型艇在內層艇殼上又敷設了厚度28～37毫米（1.1～1.45英寸）不等的滲碳鋼板。由於安裝了新型超輕電池組，21型潛艇1次充電便可以16節的航速連續潛航1小時，或以4節航速潛航整整3晝夜。
21型潛艇在戰後成為了盟軍方面的重點獵取對象。U2518號在向英軍投降後於1947年被引渡至法國，隨即更名為「羅蘭德·莫勒特」號，以此為藍本，法國海軍自1951年至1956年先後建造了5艘「獨角鯨」級潛艇，該級艇可憑藉其強續航力（單次巡航時間可長達7至14天）快速部署至法國的海外殖民地。另一艘21型潛艇U2540號則在撈起修復後轉入聯邦德國海軍服役，艇名也隨之改為「威廉·鮑爾」號。
蘇聯戰後生產的第1款潛艇W級實際上就是以21型潛艇為基礎稍加改動的產物。從1949年到1957年，W級潛艇的建造數量竟高達236艘。
首艘21型潛艇U2501號服役後即在波羅的海承擔訓練任務。1945年5月3日，該艇被其艇員鑿沉於漢堡。只有6艘21型潛艇完整地倖存到了戰後，其中一艘被撈起後改為博物館，時至今日仍陳列在不萊梅港供人參觀。