他們的能力與素質，最終在大東溝海戰上現出本來面目。
福建船政學堂教育出的學員素質惡劣
北洋水師的艦長們，絕大多數是福建船政後學堂駕駛班的前幾屆畢業生。福建船政學堂在中國近代軍事教育史上具有開創性地位，但實際上，其辦學水準十分有限，因此教出來的學生實在令人不敢恭維。
李鴻章本人對這批學院素質之劣還是心理有數的，他曾在與船政大臣黎兆棠的書信中稱：「閩廠學生大都文秀有餘，威武不足，……似庶常館中人，不似武備院中人」，唯一聊以自慰的是這批人「然帶船學問究較他處為優」。福建船政學堂的學生已經是「帶船學問究較他處為優」了，矮子裡面拔將軍尚且如此，當時清朝一批水師學堂培養的「海軍人才」水平幾何不難想像。
福建船政學堂主辦者及管理者中，並無一人懂海軍，就更不要說知道如何開展海軍教育了。而他們延聘的外籍教師，水準也極有限。學堂開設的課程，僅有英文、算法、駕駛、測算、槍炮操法5科，連海軍入門課程也算不上，培養出的學生，也只能有艦船和槍炮的操作能力。至於海戰必須的戰術素養和指揮作戰能力，那是根本沒有的。
更嚴重的是該校數十年不開設體育課，也缺乏軍事操演等項目的日常訓練。史載平時「學生極少展開體育活動，提倡課餘時間填詞吟詩，組織詩社」。1894年，英國海軍軍官壽爾訪問船政學堂後的評價居然是：
「他們是虛弱孱小的角色，一點精神或雄心也沒有，在某種程度上有些巾幗氣味。……下完課，他們只是各處走走發呆，或是做他們的功課，從來不運動，而且不懂得娛樂。大體來說，在佛龕裡被供著，要比在海上警戒，更適合他們。」
學生在校，並非以近代化海軍所需的近代化軍人要求自己，而仍以「儒生」自居，以「做官」為人生目標。所以，壽爾看到：這些學生在練習艦上實習時，「不喜歡體力勞動，因為怕弄髒手指」，連常規的爬桅杆訓練也不願意做。這種現象在留英的中國學院身上顯現得很明顯。嚴復回憶在英國時：教官令學員「築壘」比賽，以一點鐘為限，「惟中國學生工程最少，而精力已衰竭極矣。」
1877年春，清廷自福建船政後學堂第一、二屆畢業生中，選出12人作為第一批海軍留學生，啟程赴英留學，擬入格林威治皇家海軍學院，限期三年。計有：劉步蟾、林泰曾、嚴復、薩鎮冰、方伯謙、葉祖珪、林永升、林穎啟、黃建勳、蔣超英、何心川、江懋祉。這12人歸國後，李鴻章選用了前9人，均擔任艦長要職。餘下三人，也終生就職於水師。
但這群「留學生」中，劉步蟾、林泰曾、蔣超英三人，抵英後未敢參加格林威治學院的入學考試，僅以上艦實習了結留洋學業；黃建勳、林穎啟、江懋祉三人，參加入學考試失敗，也僅以上艦實習了結學業；剩餘六人通過入學考試後進入格林威治學院並順利畢業，嚴復更留校深造。
但留學生之監督官李鳳苞向朝廷奏報總成績時，其高低排序卻是：甲等：劉步蟾、林泰曾、嚴復、蔣超英；乙等：薩鎮冰、方伯謙、何心川、葉祖珪；丙等：林永升、林穎啟、江懋祉、黃建勳。--劉步蟾、林泰曾、蔣超英三人，連入學考試都未曾參加，居然能名列甲等（所謂上艦實習，按當日英國海軍的規定，只可眼觀，不能直接承擔工作；何況劉步蟾實習期間還病了幾個月），順利畢業的林永升居然落入了末等。
李鴻章對這份成績表照單全收。劉步蟾、林泰曾日後竟成為北洋海軍掌控實權的左、右翼總兵，嚴復則被委以執掌天津水師學堂。
而他們的能力與素質，最終在大東溝海戰上現出本來面目。
海戰之初北洋水師展開陣勢之後，到海戰結束，便不再見有組織有調度的陣型變換和戰術機動。相比日艦隊的第一遊擊支隊和本隊不斷利用航速優勢圍著北洋水師做戰術機動繞擊，北洋水師在實際指揮者劉步蟾的指揮下陣型散亂地擠在一處，只有招架之功毫無還手之力，最終除兩艘鐵甲艦之外的各巡洋艦紛紛奪路而逃脫離戰場，還被日軍第一遊擊艦隊追殺不止。這整個過程中完全看不到劉步蟾有什麼實際指揮。
左翼總兵林泰曾，則乾脆在戰事開始後全盤撒手。據幫辦「鎮遠」艦、親身參與黃海之戰的美國軍官馬吉芬披露，該艦當時一直由副管駕楊用霖指揮，林曾泰沒有出現在應在的崗位，事實上，中方將官也留下了相似材料，「大東溝之役，林驚慌失措」，飲酒大醉臥於指揮臺下，「一切調度進退指揮，皆公（楊用霖）一人耳。」
劉、林二人的表現充分說明了北洋水師人員的惡劣，其本身不學無術，故臨敵無法可想，一者驚慌失措，無計可施，一者大醉不起，撒手不管。
但二人極擅做官，既能使李鳳苞為其粉飾留學成績，又能在北洋艦隊內部結成「福建幫」，一方面抵制提督丁汝昌，另一方面驅走英國教官、北洋海軍總查琅威理。這就是他們最擅長的本事了。從他們身上，實在看不出一絲近代海軍軍官的影子。
北洋水師荒唐的用人制度
而北洋水師的制度也為這些官僚大開綠燈。
日本海軍的制度，留洋學員歸來後，要先從中低層軍官做起，逐漸上升。而官職上升的途中要間雜陸上艦上職務，只有合適在軍艦上服役的學員，才能繼續在通往戰鬥艦艇艦長位置的道路上攀升。如日海軍名將東鄉平八郎，在留學歸來後開始也只是做了低級軍官：從見習士官轉為海軍中尉。他用了整整13年時間才在甲午戰爭前擔任了防護巡洋艦「浪速」號的艦長。而他那一屆留洋的十五名學員中，只有東鄉等兩人得以升至戰鬥艦艇艦長的職務。長期的底層中層經驗為他們的艦長任職打下了堅實基礎。這也是世界各國海軍用人的常例。
北洋水師的情況正好相反，留洋學員一俟留洋歸來，歸國之後直接出任主力戰鬥艦的艦長，並且長期擔任，並不調職，直至在甲午戰爭中戰死或自殺。作為北洋水師主力的七艘進口「遠」字號軍艦中，除了「致遠」艦艦長鄧世昌外，其餘六艦均為第一屆留洋學員直接擔任艦長並始終任職。如此僵化固定的用人規定，與世界各國海軍均格格不入，倒是與淮軍的營制相吻合：淮軍中各營的主將也確實是直接組營並長期任職，沒有及特殊情況不予更換的。由以上諸項的觀之，北洋水師不過是淮軍的海軍版——海上團練是也。