遂昌縣城北溪南溪交匯於襟溪之「三溪口」，靠葉坦往東橋一段有座小山梁，名叫瑞山。瑞山東上有土鼓（石玄），敲之能發出聲響。明人鄭還有「環邑十二景」詩存世，其九《土鼓含音》云：
試敲石鼓響聲奇，
疑是宮商落翠微；
好看最宜春日暖，
兒童競擊笑忘歸。
後有眾多文人寫有同題詩作，在清·光緒版《遂昌縣誌》有擇載。
土鼓含音猶如美妙的音樂遺落在蒼翠的瑞山上，聲色俱佳，奇妙之至。當然瑞山也就成為市民休閒的最佳選擇。小孩更不必說，爭相擊鼓，快樂得都忘記回家了。
遂昌民風純正，歷代官府鄉賢都非常注重文教。宋乾道年間縣令李大正主持建造「登瀛閣」，瀛，即「瀛州」，乃海外仙山，登上瀛州，可謂是位列仙班呢。想來也有蟾宮折桂的意思。後將登瀛閣遷至瑞山，並拓地鑿池，修建小橋，建成學校一樣的格局。瑞山向西十裡許有座山叫做曾山，尖銳聳拔，又叫尖山，雅號「文筆峰」，山下有寺，名「廣仁院」。有詩曰：
不到仙峰二十年，
山光水色尚依然。
一官凜凜逾堅操，
古佛如如待說禪。
冠上塵纓何日濯，
枝頭明月有時圓。
可堪六六金鱗健，
我欲乘風騎上天。
遷至瑞山的登瀛閣和文筆峰對峙，因此更名「雙峰閣」。
據當時遂昌北街聞人張貴謨所記，遂昌山水秀麗，前面瑞山高壯盤鬱，曾山剡碧西峙，南北兩溪合流，本來近百年來學盛文昌，人才輩出。可是近年來青年才俊科考卻連連失利，鎩羽而歸，陰陽先生說這是「風氣蕩洩」之緣故。南宋紹興二（壬子）年，遂昌鄉賢聚議在南北並流的水口山上建造一座七級浮屠（即七層高塔），歷時四年，由縣尉葉木、知縣朱元成主持建造。這一振興地方文風，捍衛遂昌風水之舉得到社會的廣泛支持，大家紛紛慷慨解囊，籌募資金，使建塔經費得到了保障，該塔屬磚木結構，舉全縣巧匠之力，質量上乘。建成後氣勢宏偉，拔地撐空，勾心鬥角，碧瓦朱甍，取名「文筆雙峰塔」，瑞山也因此改名「塔山」。
雙峰塔建成後，遂昌學風大振，才人並起，春試秋闈，喜報連連。
雙峰塔歷經宋元明清四朝，在兵燹戰禍和自然震蕩中巍然矗立六百年，終於如一垂垂老者在乾隆五十七年轟然倒塌。
清道光年間，遂昌知縣朱煌廉明勤正，政肅刑清。他主持重建雙峰塔，然而當時所謂的大清已是民生凋敝，世風日下，內憂外患，顧此失彼。雙峰塔雖建成，卻如曇花一現，未及五載，旋即傾圮。自此至今歷時170餘年，遂昌再無人見過雙峰塔的雄姿。
近200百年中，想重建雙峰塔的鄉紳賢達不乏其人，蓋因流年多舛，戰火不熄，生靈塗炭，民不聊生而無力實施。欣逢如今物阜民豐之盛世，終於將重建雙峰塔和修建鼓山公園提上議事日程。2017年12月19日上午，遂昌縣城平昌廣場熱鬧非凡，重建雙峰塔募捐儀式正在這裡舉行。來自遂昌城鄉各行各業、各單位和個人紛紛捐助，以實際行動表達了人們對未來事業興旺發達的美好期許。
在封建時代人們建造雙峰塔是為了鎮河妖提文氣，具有濃厚的唯心色彩。而現在重建雙峰塔是為了集人心強士氣，是為了傳承遂昌歷史文化，寄託人們心中的美好願望，為了增強遂昌人民的凝聚力、自豪感和歸屬感。整個鼓山公園除了主體建築雙峰塔之外還將修建諸如「三溪攜翠」「層巒遠黛」「沐陽碧波」「登塔觀瀾」等系列景點，並重現古時塔旁松竹綠植和曾雲堂、知津亭等附屬建築，以供市民休閒小憩。建成後的雙峰塔將是我縣縣城的地標性建築。是集休閒、文化、觀賞、晨練為一體的多功能活動場所。
從開挖塔基第一鋤起，鼓山就成為人們目光所及而特意仰望的地方。在大家充滿期待的眼神中，建塔的周圍腳手架慢慢地上升著。然而願望和實現願望總是充滿著矛盾，輕易實現的願望總是得不到珍惜，而久久不能實現又令人心焦不已。雙峰塔從奠基到建成歷時兩年多，算不上高效，甚至有一段時間人們都懷疑它會不會成為傳說中的爛尾工程。
人們在焦慮中觀望。
終於，2019年底，塔頂封了。
但在腳手架嚴嚴實實的包裹中，人們難以看到廬山真面。直到有一天，腳手架拆了，晚上，塔上半段景觀燈打亮，人們才看到雙峰塔的模樣，然而那「猶抱琵琶半遮面」的羞澀感和大家心中那種魁梧的「塔影」分明尚有一段落差，朋友圈中人們點讚的並不那麼熱烈。
直到今年12月7日晚，整個塔身都打上景觀燈後人們才驚呼：「真好看！」
是的，很好看！
遠看七層玲瓏寶塔高聳入雲，每一個結構都清晰可辯。簷牙高啄，層臺輪奐，流丹溢彩，重閣翬飛。沿遊步道拾級而上，路邊草樹在嚴冬時節雖感蕭條，但附近新建的的歐式建築卻洋溢著異國情趣。走近雙峰塔，更覺它的魁偉高大，飛閣連雲。據悉，這座高仿宋代建築風格的雙峰塔淨高49.95米，在鼓山之上，巍然屹立這麼一座高大的建築物，即使在整個遂昌城，也是鶴立雞群的。
登上雙峰塔，發現逐層都設計了遂昌不同年代的歷史介紹，這也平添了雙峰塔的文化元素。在人們登塔觀賞的同時，也了解了遂昌的歷史，真是一舉兩得之美事。
登臨頂層，舉目遠眺，整個遂昌城盡收眼底：三溪交匯，晝夜不息；市井有序，車流不絕；高樓商鋪，鱗次櫛比；環山相峙，層巒疊翠。處身此高塔之巔，怎不令人寵辱偕忘，心曠神怡！
雙峰塔的建成，是遂昌近年來高樓突起的又一座令人驚嘆的高光建築，它無疑達到了人們心中地標建築的視覺效果。相信這座承載近千年遂昌歷史、文化和民俗內涵的七層高塔，也將承載著遂昌人民的美好理想和兩個一百年的奮鬥目標走向更加光輝燦爛的未來。