南潯古鎮地處杭嘉湖平原北部，太湖之南，西距市府湖州卅二公裡，東與江蘇蘇州吳江接壤，南宋以來，此地已是「水陸衝要之地」，因濱潯溪河而名潯溪，後又因潯溪之南商賈雲集、屋宇林立，而名南林，至淳祐十二年(1252)建鎮，南林、潯溪兩名各取首字，改稱南潯。
由於蠶絲業的興起和商品經濟的發展，南潯在明朝萬曆至清代中期空前繁榮鼎盛，清末民初已成為全國蠶絲貿易中心，並形成一個因經營絲業而發家的富豪階層，當地人形象地以象、牛、狗三種動物形體的大小來對應他們財產的多寡，於是有了「四象八牛七十二金黃狗」之說，一般認為「象」是指擁有財產百萬兩以上的富豪，「牛」為五十萬至百萬兩者，三十萬至五十萬兩者稱為「狗」。
這些在上海灘的洋行碼頭上叱吒風雲的南潯商人在故裡建宏大宅第，置田地房產，築庭園書齋，同時築路造橋，興辦教育，在繁榮了本地民族資本主義的同時，也為小鎮南潯留下了一段段驚心動魄跌宕起伏的故事，其中劉、張、龐、顧四家為「南潯四象」，而劉家財產排第一，為「四象」之首，家財白銀2000萬兩是什麼概念？據說相當於當時清政府收入的九分之二。
30年代南潯有民謠云：「劉家的銀子，張家的才子，龐家的面子，顧家的房子」， 南潯巨富劉鏞的顯赫程度可見一斑，被稱為「牛」的有邢、周、邱、陳、金、張、梅、蔣八家，至於「狗」就有七十二家了，有著雄厚財力的南潯由此一躍成為江浙雄鎮，儘管隸屬湖州，但民間有「湖州一個城，不及南潯半個鎮」之說。
南潯古鎮以南市河、東市河、西市河、寶善河構成的十字河為骨架，其間又有許多河流縱橫交錯，街和民居沿河分布，沿著河岸漫步，以南東街、南西街為串聯，構成了十字型格局，街巷肌理完整，河道水系基本保存。十字河兩岸形成商業街道，既有傍水築宇、沿河成街的江南水鄉小鎮風貌，又有眾多高品質的私家大宅第和江南園林，形成了小橋流水人家與大宅園林交相輝映的街區特色。
如今的南潯古鎮基本保持著清末民初的風貌，鎮北運河東西橫延，鎮中潯溪南北穿鎮而過，豐富的水系讓南潯有了迅猛發展的前提，從象門街的入口進來，恰好是河水轉彎的地方，每側各有一座石橋，一曰通利橋，一曰蔣家橋，儘管不如周莊的「雙橋」那麼廣為人知，但橋旁的「雙橋麵館」還是小有名氣的，和當地人擠在河邊的小桌旁吃碗麵當早餐，是件頗愜意的事情。
沿河岸漫步，遊船有條不紊的穿梭在十字河道，依河而建的民居一比一倒影在河中，清晨，古鎮嫋嫋炊煙；婦人在河岸洗衣；大爺拎起昨天下的漁網查看收穫，曾經富甲一方的南潯人骨子裡面是傲氣的，過分的商業炒作是他們所不恥的，南潯是個富養出來的大家閨秀，總能不卑不亢地拒絕誘惑、腐蝕和平庸，雖不施粉黛、不著豔妝，卻還是有著不同尋常的氣質。