立園打動人的除了其中西合璧、特色鮮明的建築外，還有男主人公和他的四個女人的悽美的愛情故事。立園始建於20世紀30年代，是旅美華僑謝維立所建。謝維立1893年生於開平，6歲離家去美國讀書，大學畢業後從商，1919年創辦維立公司，經營服裝、手工藝品和藥材。1926年遵父訓回鄉修建立園，歷時10年，花費4萬大洋。
謝維立和那個時代很多華僑一樣也是一夫多妻，他有四個太太和21個子女。立園女主人的故事大都也像《紅樓夢》裡女主人似的「時運不濟，命途多舛」，四個太太中，一瘋，一死，一醮（再嫁），人生之路哀怨悽婉。只有三太太一人福大命大造化大。
立園——華僑園林中一顆熠熠生輝的明珠,集傳統園藝、江南水鄉特色於一體,其中西合璧的獨特建築藝術風格在中國園林中獨樹一幟,足可與廣東四大名園媲美。立園的意境是「小橋、流水、人家」,園內布局為大花園、小花園和別墅區三個區域,彼此以人工河或圍牆分隔,又用橋亭或通天迴廊連成一體,園中有園,景中有景.別墅區有泮文、泮立等融匯中西建築風格的六幢別墅和碉樓一座,其外部黃牆綠瓦,飛簷鬥拱,氣勢磅 礴,別具中國殿堂古風。
立園的室內設計高雅舒適,古色古香,廳堂裝飾著屏風壁畫,紅木臺椅,水晶宮燈,花架書櫥,洋盆浴缸,西方壁爐,湘繡潮雕,鑿井引水,手搖供水.廳堂室間閒雅舒適、幽靜溫馨,頗有世外桃源之韻.大花園綠樹相映,鳥語花香,參天古木,迴廊曲徑,使人心曠神怡。
從正門入內,沿運河迴廊西行約100米,便到了別墅區.別墅區有別墅六幢,古式碉樓一幢,其中以「泮立」、「泮文」兩幢別墅最為華麗壯觀,其樓頂按中國古代「重簷」式建築,蓋綠色琉璃瓦，巧妙地架空,成了實用的隔熱層，室內地面和樓梯皆鋪彩色義大利石,而今60多年,仍然光彩照人,此乃能工巧匠登峰造極的技藝,令人嘆為觀止。
謝維立大太太司徒順娣，是一位美籍華人，專修商業管理，她與謝維立同學時共陷愛河。不幸的是她因為最寵愛的小兒子不幸夭折而精神失常，遍尋名醫也無法治癒，只好把她從立園送去美國療養。1960年病逝於美國芝加哥。立園泮立樓的二樓就是她當年的住所。圖為謝維立與大太太司徒氏生的兒女們的照片。
二太太叫譚玉英，她的故事更加悽美。80多年前，謝維立遭受愛妻精神失常的打擊後，非常苦悶。一天形隻影單的謝維立在去赤坎「趁墟」回程的路上，突遇傾盆大雨。值此尷尬之際，忽有一把雨傘從天而降，適時地遮到頭頂，遞傘的妙齡女子就是開平有名的才女譚玉英，年方十八，琴棋書畫樣樣精通。
謝維立和譚玉英在傘下結緣，在雨中生情。不久謝維立向譚家提親，玉英遂成了謝家二房太太。婚後夫妻恩愛，很快譚玉英就懷孕了。如花似錦的生活好象又降到了謝維立頭上。就在此時，謝維立的父親要他趕赴美國處理急務，謝維立只好別妻而去，相約等玉英生產的時候一定趕回來，丈夫遠去以後，多愁善感的譚玉英日日盼夫歸來，她親手縫了一個信袋，上面繡上「鴻燕傳書」四個字，等候佳音，最後竟憂鬱成疾。
三太太名餘瑤瓊，她以「立園」這件大作品「感動」了中國。餘瑤瓊本是謝氏管家之女，好象天生她就要為謝維立「管家」似的。餘瑤瓊生於1916年，比謝維立小23歲。這女孩雖自小便對謝維立情有獨鍾，但因門戶不對，只能暗藏情絲，發誓不嫁人。圖為謝維立和三太太餘瑤瓊照片。
後來父親將餘瑤瓊送去給二夫人譚玉英當貼身丫環，餘瑤瓊對譚玉英的才華羨慕不已，耳濡目染，竟也才藝雙進。譚玉英生前善彈琴，謝維立最愛聽譚玉英彈奏的《郎歸晚》，玉英死後，謝維立潦倒憔悴，終日買醉。圖為立園家人照片。
謝維立一次深夜醉酒回來，見玉英的碉樓仍亮著燈光，靜夜裡傳來《郎歸晚》，謝維立急步奔上樓去，見餘瑤瓊正在彈奏。愛情就此開始，1934年在立園藝舉行了隆重的婚禮。餘瑤瓊從此稱為「謝餘瑤瓊」，成為謝維立的第三任太太，婚後，謝維立回到美國經營生意，而瑤瓊留在立園打理家務，1938年隨夫旅居美國，生有五男五女。圖為立園家人照片。
四太太名關英華，是客居香港的開平人。當年謝維立回鄉路過香港時與她相識。開朗大方的關英華想去看看立園，就隨謝維立來到開平。三太太見她口齒伶俐，見多識廣，覺得是丈夫的好幫手，便建議謝維立將她娶作四夫人。圖為立園主人臥室。
不幸的是，日本軍隊入侵的時候，謝維立與三夫人去了美國，四夫人攜一家老小出逃，與謝維立走散，拖兒帶女的她回到開平後只能靠變賣衣物換取穀米充飢。後因生活所迫改嫁，所以立園裡沒有四夫人的任何物品，1951年關華英病逝。圖為立園樓梯。
1999年作為立園主人謝維立的惟一遺孀，遠在美國的老人決定將立園交給開平市政府託管，為開平碉樓的「申遺」和開平旅遊的開發寫下了一本無字大書。2001年，開平市政府在立園為瑤瓊女士鑄銅像，基座上記有她重回立園的詩作：「立石詩題話滄桑，園林海竹鬢如霜。今日再為花下客，又聞鸝歌晚亭下……..」表達了一個海外遊子百感交集的心聲。2003年5月，老人在美國芝加哥病逝。圖為謝維立照片。
立園既有中國園林的韻味,又吸收了歐美建築的西洋情調,將其巧妙地糅合在一起,在中國華僑私人建造的園林中堪稱一流,也是中國目前發現較為完整的中西結合的名園.