中共策劃國民黨海軍第二艦隊起義地位於棲霞區燕子磯街道笆鬥山附近的長江水面。1948 年2 月，林遵被任命為國民黨海軍第二艦隊司令，負責從江陰到安慶的江防，配合國民黨陸軍抵抗人民解放軍南下。林遵對國民黨的統治深惡痛絕，他與上海地下黨員、海軍總司令部新聞處上校專員、《海軍月刊》社社長郭壽生聯繫。郭壽生動員他率部起義，他欣然接受，開始積極籌備。1949 年2 月25 日，國民黨海軍「重慶」號巡洋艦在上海吳淞口宣布起義，林遵受到鼓舞，積極與郭壽生聯繫商量起義的具體事項。中共中央社會部及時改派上海地下黨林亨元與林遵聯繫，傳達中共中央的指示，要求他先按兵不動，待解放大軍渡江時，再突然調轉炮口起義。1949 年4 月20 日，國民黨政府拒絕在《和平協定》上簽字，接著，桂永清命令林遵的第二艦隊全部集中南京江面，阻擊人民解放軍渡江。
解放軍第八兵團司令員陳士榘（右二）在林遵（右一）陪同下參觀「永綏「號艦。
4 月23 日晨，林遵通知各艦艦長和炮艇艇長召開緊急會議，商量起義事宜。會上很快以無記名投票的方式通過了起義決定。林遵宣布：「第二艦隊決定全體起義!」 參加起義的有永綏、楚同、惠安、江犀、吉安、美盛、聯光、安東、太原等軍艦，以及第五巡防艇隊和第一機動艇隊所屬的炮艇，共26艘。國民黨獲悉林遵部起義後，馬上派了6架飛機，對起義艦艇狂轟濫炸。林遵指揮各艦反擊。當晚，人民解放軍通知各艦舍艦保人，讓起義官兵全部離艦上岸，安全轉移。就在這一天，人民解放軍橫渡長江一舉攻佔南京，國民黨政府集體逃遁廣州。同一天，華東軍區海軍在江蘇泰州白馬廟宣告成立，人民海軍從此誕生。4月30日，由林遵領銜，帶領參加起義的艦、艇長邵侖、李寶英、吳建安、張家寶、宋繼宏、易元方、郭秉衡、韓運楓、陳務篤、林微琛、張汝槱等人向毛澤東主席、朱德總司令發出致敬電。喜訊傳來，毛澤東主席、朱德總司令親自發電報祝賀林遵和第二艦隊官兵，復電指出：「中國愛國人民建設自己的海軍和海防的偉大意志，不是任何反動殘餘所能阻止的」，鼓勵他們「團結一致，學習人民解放軍的建軍思想和工作制度，並繼續學習海軍技術，為中國人民海軍的光明前途而奮鬥」，盛讚起義是「南京江面上的壯舉」。