1921年，江蘇督軍齊燮元為紀念其前任——1917年至1920年間擔任江蘇督軍的李純，決定修建一座公園，並以李純之字「秀山」命名。該提議得到眾多李純舊部支持，共同籌資40餘萬元購買了103畝土地，用時兩年，將公園建成。
1923年8月28日，秀山公園舉行了盛大的開園儀式，《申報》記者實地勘察之後，對其進行了詳細介紹：
公園背靠鐘山、瀕臨秦淮河，自然風景優美；周邊又有江蘇省立通俗教育館、體育場、工業學校等，雖然處於城區，卻並不喧囂嘈雜。公園四周建有圍牆，種植著花草樹木，公園裡面的道路和亭臺樓閣都經過精心設計。而其中最引人注目的則是樹立在公園中央的李純銅像，旁邊還有紀念碑，上面鐫刻著李純的生平功績。旁邊有一個大噴水池，水柱可高達丈餘。東部有博物館、圖書室，陳列甚多，裝潢也很精美。公園內最大的建築物是英威閣，因為李純生前被封為「英威上將軍」，所以被命名為「英威閣」，它是仿宮殿式建築，綠瓦蓋頂，雕欄環繞，十分壯麗。英威閣的大屋頂最適宜夏天乘涼，下面設有藤榻竹几，可以供遊人休憩。
因為修建公園的初衷是紀念李純，因此，公園內建有英威閣、紀念碑、銅像等紀念性建築。英威閣位於正對大門處，佔地面積也最大，用做祭堂，為了方便祭祀時祭者等候或休息，還專門在其東西兩側設置了房屋。齊燮元除了親自撰寫李純紀念碑的碑文和題詞，還在公園中設置圖書館、博物館，展品中陳列著李純遺書。
公園中除了紀念性建築物之外，還有很多教育性設施。如有專門供園藝農林專家考察的植物園，還有博物館。齊燮元在公園建成後，曾向各省徵求博物館的陳列物品，以便「於地方教育有所裨補」，「以覘國民進化之精神」。在公園中設置博物館、植物園，這是西式公園進入中國初期比較普遍的形態。國人久處列強環伺的境況，時時處處希望自強自救，積極向西方學習。這就使從西方引入的幾乎所有事物都帶有教育性質，被寄予提高國民素質等期望，公園就是非常典型的代表。
秀山公園建成後，成為南京城中少有的西式休閒娛樂空間。一經開闢，便吸引了大量遊人。它不僅地理位置優越，靠近鐘山、秦淮河，而且與周邊的通俗教育館等構成一個公共文化建築群，便於人們進行多種娛樂活動。其內部設置也十分完善，建築風格中西合璧，花草成蔭，亭臺樓閣相映成趣，還有植物園、博物館、圖書館等文化設施，逍遙遊茶社更可供人歇腳休憩，環境極為雅致。公園內還安裝了電燈，用球形白罩做燈籠，每到晚上亮燈之後，星星點點，閃爍在草木樓閣之間，別有風味。
因此，來公園賞玩的人絡繹不絕，尤其是夏天的夜晚，公園成為附近人們消暑納涼的好去處。為了吸引更多遊人，公園管理者也應時地調整各種遊樂設施：1924年，中華教育改進社年會將秀山公園作為交際會會所，放映電影，放音樂跳舞；1925年夏天，秀山公園從上海一個影片公司租來電影《南華夢》在園中放映；1926年春夏之際，正式增加遊藝場、露天電影院，放映《小公子》《情場佳人》等影片。
同時，秀山公園還開始舉辦大型政治活動。英威閣在設計時就考慮到舉行大型集會活動的需求，因此可被用於舉行宴會。其東邊的屋子被開闢為茶社，命名為「逍遙遊」，售賣茶點。南京城中有名的飯店不少，但是位於公園內的僅此一處，格調顯得高雅不俗。軍政要員們來到南京，多半會被帶到秀山公園中就餐、賞玩。除了官方宴請之外，普通商民也紛紛將秀山公園視作舉辦集會、議事論事的公共空間，在此舉行過為日本地震籌款、為自殺的知識女性劉廉彬請願、紀念九七國恥大會等活動。
孫中山去世後，南京官民的紀念活動主要就在秀山公園內舉行。據報導，1925年4月公祭期間，至少有兩萬餘人前來參加。公園內的圖書館還設有演講場，供大家演說。每天晚上7點則會播放有關孫中山先生革命的電影和孫中山先生關於三民主義、五權憲法的留聲機片。在中山陵園建成前，秀山公園都是南京城內公祭孫中山的主要場所之一。
秀山公園是民國以來南京的第一個西式城市公園，為南京市民提供了一個有別於夫子廟、秦淮河的新式娛樂休閒空間，不僅獲得了有權的官員、有錢的商人們的認可，更被普通百姓喜愛，兼具娛樂性、社交性、教育性、政治性等多種屬性，開始影響城市居民的日常生活。
秀山公園為紀念李純所建，但隨著軍閥勢力日漸衰微，革命力量迅速增長，該命名方式不斷被質疑。1925年，孫中山去世後，有人就提議將其改名為「中山公園」，但因其私有性質，無果而終。迨至北伐軍攻克南京，尤其是龍潭戰役之後，南京市政府成功收歸其為市有，還有革命群眾呼籲將其稱為「血花公園」。
1927年11月，國民政府正式改稱秀山公園為「南京市第一公園」。此後公園內進行了徹底改造，抹去與李純相關的一切，打造成為紀念龍潭戰役死難將士以及其他革命烈士的革命紀念空間。同時，烈士祠等時常被借用舉行各種展覽，如提倡國貨、躲避空襲、科學孕育等，在客觀上促進了科學文化知識的普及推廣，這使其成為獨特的教育空間。革命、政治、教育、娛樂相結合，恰是公園這種新興公共空間在那個年代應該承擔的角色。
1937年，日軍侵入南京，將公園夷為平地，改建為飛機場。引領南京城一時風尚的秀山公園從此徹底消失，如今只留下了公園路這樣的地名，讓世人去揣測當年的景象。