隨著解放戰爭持續到1948年年底，鑑於全國戰場的形勢迅速穩定，一方面迅速打掃戰場，籌備新政協，而另外一方面就是建設我們自己的軍隊，國民黨軍起義的海、空軍也逐漸增多，也是時候籌建我們自己的海陸空三軍，並調三野前線委員會委員張愛萍出任華東海軍司令員兼政委，考慮到在組建現代化兵種時，少不了和蘇聯打交道，在正式籌備海軍建設時，上級改肖勁光任海軍司令。
1949年10月，肖勁光得知了自己被任命為海軍司令，急得直搖頭，不是因為別的，而是因為肖勁光本身是個旱鴨子，上船就暈，於是立刻推辭，經過上級勸說後，肖勁光這才答應下來，可一個比較現實的問題是，肖勁光自己也不懂得海軍的建設，為了保險起見，上級還專門派了一個人給肖勁光當副手，這個人就是新中國建立以後，海軍第一任副政委兼政治部主任劉道生將軍。
之所以選擇劉道生，實際上也不是從專業角度考慮的，當時劉道生將軍任第十二兵團副政委兼政治部主任，而肖勁光則任十二兵團司令員，兩人關係一度不錯，相互配合起來也比較密切，而且為了更有效地進行工作，上級還特別允許肖勁光從十二兵團直屬隊之中抽掉部分幹部戰士，去組建新的海軍直屬機構。
劉道生在接到命令以後，晚肖勁光一步出發，提前做足了海軍籌備建設的準備工作，並在湖南軍區掛上了海軍司令部的招牌，鼓勵一些青年學生參與到海軍的籌備建設工作中，直至1950年4月8日劉道生正式接到命令赴任，並主抓海軍的訓練和院校建設工作。
事實上海軍建設在新中國建立之初是一波三折，由於抗美援朝戰爭的爆發，當時考慮到入朝參戰，海軍所發揮的作用並不大，因此在初期與蘇聯商談軍事援助中，對海軍的支持要略少一些，甚至於在1952年上級巡視新組建海軍的過程中，提到了由於外匯不夠的情況，要求海軍自行想辦法，將一些原本荒廢了的船廠先恢復生產一些小型艦艇。
而劉道生將軍就是具體負責這一項工作的人，局限於條件。劉道生將軍提出海軍建設的方針：「花錢少、見效快、短小精幹、具有較強戰鬥力」，在海軍的訓練中，劉道生將軍重視士兵的訓練工作，與此同時還主抓了海軍院校的建設工作，為了增強建設海軍的能力，1953年羅榮桓派劉道生帶隊趕赴蘇聯，在蘇聯伏羅希洛夫海軍學院學習，直至1957年歸國。
也就是在劉道生將軍的努力下，中國人民解放軍海軍在資源原本不充分的情況下，形成了初步的戰鬥力，當然這其中的難度可想而知，事實上就在我軍建設海軍初期，遭受到的阻力也非常大，有的人對於海軍建設頗有微詞，認為耗時耗力。1958年劉道生將軍歸國以後，曾在一次會議中提出計劃，要在10年到15年的時間，建造 40萬噸戰鬥艦艇，其中包括飛彈艇，魚雷艇若干艘，和其它一些中小型艦艇。
有人當場提出對劉道生的批評，但後來還是在上級堅持下，最終劉道生的建議得到了貫徹，按照我們中國人自己的話來說，要將海軍建設成為「海上鐵路」，為此劉道生將軍進行了不懈的努力，直至1980年以前，劉道生將軍建立專業的海軍院校就有14所，相關專業達到了100多個，為新中國的海軍事業，奠定了強大的基礎。