舊時從羊角洞左側登南天門，有沿夾壁開鑿的小路，西天門只有一張簡易的木梯，登攀比較危險，使人望而卻步。
兩邊都鑿了寬闊的石級，可安全地登至山頂。方山頂平曠，有四百餘畝，是一方空中平原，
山頂常有雲霧瀰漫，使人如置身九霄之外，飄飄欲仙。如逢天高氣爽，可極目溫州、台州兩地，也可以看到海上日出。
中有道觀玉蟾宮依山隙而築，凡五層。
方山東南有峰如羊角，稱羊角峰，峰前有洞，洞前有萬丈深谷，後有千仞絕壁。
方山西麓，有懸崖峭壁凹成半弧形，稱為峭鬥嶂。
山高風大，土地貧瘠，松林千年長不大，虯枝蒼老，如入盆景花園。
洞口門聯有「峰迴塵境隔，花落洞天幽。」洞在懸崖之下，外大裡小，內有一池碧水。
峭鬥嶂高聳雲天，上有一流飛瀑輕瀉，水瀑被風吹散，飄飄灑灑，至巖腳成為濛濛細雨，這就是梅雨瀑。
相傳王羲之遊方山避雨到此，看見這方池水大喜，就在洞中寫下了《遊西郡記》，並在池中洗筆淨硯，於是水池就成為右軍洗墨池。至明代，附近的謝鐸曾在此讀書，後官至禮部右侍郎兼國子監祭酒。
稍遠又有文筆峰、白龍潭、團箕巖、觀音堂、老猿拜天門、觀音巖、筆架山等景觀。離方山數裡的大唐嶺東，為古徐偃王城遺址 。
峭鬥嶂的半腰有一巖洞，即峭鬥洞。