河濱公園位於梧州市潯江與桂江匯合處的白鶴山上，三面臨水，環山為園。園內綠蔭蔽日，古木參天，鳥語花香。園址原名叫鶴崗，自古就是風景勝地，「鶴崗返照」是古蒼梧八景之一。
清代詩人關正運有詩云：
城西隔岸疊峰稠，落日平崗見鶴飛。
山上赤騰見倒景，江心紅映半斜暉。
四周暮色侵樵徑，一片霞光絢釣磯。
最是可觀翻石壁，水邊立人似衣緋。
過去，在傍晚時分，常有成群白鶴從江面飛回崗上歇息。古人傳說，鶴崗是鶴仙幽居之處，常在崗頂上出現的白鶴，是白鶴仙女們變的。至今，在本地還流傳著一個白鶴仙女的傳說。
據說很久很久以前，在白鶴山下的桂江水上有一個漁民叫黃亮，幼年喪母，與六旬老父相依為命。父子倆有次救了一隻白鶴，那白鶴正是白鶴仙女雲姑。為了報答救命之恩，雲姑便與黃亮結成了夫婦，並用仙家寶物紅寶珠引誘魚群聚集，方便漁民捕撈，為百姓們造福。後來，地方惡霸劉洪得知此事，企圖霸佔紅寶珠，雲姑巧施妙計，為百姓除掉惡霸，然後變成白鶴，馱起黃亮和黃老爹，飛回鶴崗頂上。後人為了紀念黃亮和雲姑，便在鶴崗東麓修建了一座白鶴觀。
以前登山，從東麓白鶴觀旁小徑，現在可從北面拾級而上，亦可從盤山公路驅車直達山頂。鶴崗頂上有鶴崗樓、盆景園、奇石館和英國領事署舊址。盆景園裡，古木參天，幾株細葉榕樹齡都在百年以上。奇石館裡陳列的奇石，有的像鷹，有的似龜，或如山峰，或若波浪，無不栩栩如生，維妙維肖。
清光緒二十三年（1897年），英國借不平等的《中英續訂滇緬條約》附款專條，把梧州闢為通商口岸，並強佔白鶴山修建英國領事署，在山腳豎起「大英帝國地界」，「遊人不準登山」的牌子。
1918年夏的一天，剛從外地調防來梧州的桂軍某部排長秦鎮標和一士兵登鶴崗遊覽，英領事署領事發現後，突然放狼狗追咬。在迫不得已的情況下，秦排長只好採取自衛行動，開槍打死狼狗。英領事從香港調來「摩軒」、「摩扶」兩艘軍艦，泊在梧州江面，威逼梧州當局「降旗致哀，設祭賠款」，並處死秦排長以「人償狗命」。梧州當局被迫將秦鎮標處死。這一事件使梧州人民蒙受了極大的恥辱。
1925年，梧州各界聲援上海「五卅」運動，舉行示威遊行。遊行隊伍包圍了英領事署，抗議英方的暴行。英領事見勢不妙，倉皇乘船逃回香港，從此一去不敢再來。1928年，鶴崗終於回到梧州人民手中。1930年，市政府將鶴崗闢為河濱公園。英國領事署舊址旁，立有一座「還我河山」石碑，記錄的便是這一經過。
闢為河濱公園後，到這裡遊覽的人更多。英領事署舊址前，有一座栩栩如生的白鶴雕塑，它包含著一個久遠的神奇故事。登上鶴崗樓，東望河東市區，高樓林立，鱗次櫛比；南望西江波濤滾滾，文筆塔聳立在錦屏山上，系龍洲隱隱可見，如浮在水面上的青螺。若在春夏之交，還可以看到桂江與西江交匯處一綠一黃的鴛鴦江奇景。北面的白雲山綠樹雲煙，氣象萬千，桂林山水甲天下，蒼梧獨在天一方。西邊的歷史博物館，是當年美國人辦的教會學校舊址。南面松柏蒼翠，是梧州市革命烈士陵園。