清代以來，泉州民間長期流傳著「有朵橋富無朵橋厝，有朵橋厝無朵橋富」的俗語，它生動地說明當時朵橋傅家兄弟的財富和民居極其有名，在本府轄內無與倫比。追溯其源卻有一則有趣的故事。
乾隆年間，傅方升和傅方進兄弟出生於南安金淘朵橋村一個貧苦的農民家庭。由於長期的艱苦磨鍊，兄弟兩人都長得身材挺拔，虎背熊腰，很有力氣，且為人忠厚，不畏勞苦，被村人稱讚為好後生。為了生計，他倆終年拼死拼活地在幾塊瘦田薄地上耕耘。農閒時，他倆還幫助別人打雜，或替人肩挑運貨，掙些工錢來添貼家庭費用，日子過得很清苦。
一天下午，兄弟倆正在為建築石埕厝勤快地挖掘地基。忽然，鋤頭掘到一條長石板，他們感到很奇怪，就小心清理了長石板周邊的泥土，搬開長石板，意外發現一個古舊的地下銀庫，內有雪花花的白銀不計其數。兩人都高興地說：「這是土地公保庇，才讓我們得到這麼多的錢財！」他們坐下來商議如何處理這些白銀。傅方升說：「我們一定要嚴守秘密，絕對不能讓任何人知道此事，現在先用鬆土重新把銀庫封好，然後表現得若無其事地繼續在另一頭挖地基。」傅方進接著說：「待到夜深人靜時，我們才挑著竹籃來搬運白銀也不遲。」半夜時分，兄弟倆挑著竹籃來回往返不停地搬運著，直到黎明前才把白銀搬運完畢。一夜之間，兄弟倆就變成大富翁了。
最初，他倆害怕過早露富會惹禍，便在生活上儘量保持原狀。半年後，眼見沒有發生什麼麻煩的事，傅家兄弟就壯著膽子開始商量籌建新房屋的事，並一起到離村幾裡外的杉行去選購杉料。其時，杉行老闆正好與瓦窯頭家、朵橋財主圍著茶几一邊品嘗安溪茶，一邊講天捉皇帝（泉州方言，意即談天說地）。突然，杉行老闆看到兩個頭戴破草帽，身穿舊衣服肩背麻袋，腳上穿草鞋的窮漢來買杉問價，心裡實在不高興，就皮笑肉不笑地說：「你們是搭火灰寮還是修理破厝，竟然問起大杉料的價錢，簡直是『買四兩肉問船豬到幾隻』！真是小題大作不知羞恥！」
傅方升聽後，雖然感到遭受侮辱，但很快就鎮靜下來，毫不示弱地說：「我們是要修建一座大厝，實話告訴你，貴行的杉料我們還不夠用呢！」杉行老闆實在不敢相信自己的耳朵，就叫傅方升再說一遍。傅方升加重語氣又將原話重說了一遍。為了當眾教訓這兩個窮漢，杉行老闆輕蔑地說：「如果你們有錢建新大厝，現在，只要能夠從身上拿出五十兩白銀，我整個杉行的杉料全部歸你們，什麼時候來搬都行！」傅方升聽後，暗自高興，便胸有成竹地說：「此話當真嗎？要不要問老闆娘？」杉行老闆顯然被激怒了，紅著臉大聲吼道：「大丈夫一言既出，駟馬難追！豈需問什么女流之輩！你敢與我打賭嗎？」傅方升理直氣壯地說：「我若不能從身上拿出五十兩白銀就算輸了，情願為你杉行做十年苦工不取分文報酬，絕對沒有反悔」杉行老闆說：「好，就請瓦窯頭家和朵橋財主作證人吧！」
瓦窯頭家聽罷，捧腹大笑，挖苦道：「你們兄弟不要雞蛋碰石頭，要知道只靠嘴硬沒有什麼用，還是趁早低頭向杉行老闆賠禮認錯為好，省得以後吃大虧！」傅方升聽後，更加不服氣地說：「我們不僅要買他的杉料，還要買你瓦窯的磚瓦哩！」瓦窯頭家又冷笑一下，諷刺地說：「四兩雞仔啄半斤芋粿——不自量力。不要講大空了（泉州方言說大話的意思）！你們若賭贏杉行老闆，我就將瓦窯裡及大埕上（即庭院上）全部磚瓦奉送，決不食言！如果你們賭輸怎麼辦？」傅方進說：「我情願到你瓦窯做十年白工，不要一分工錢，說到做到！」朵橋財主也幫腔道：「你們兩個窮漢說話想讓風吹去（說話不算話），我知道你們的家底如何，還是早早投降較好！如果不投降，還敢與我打賭嗎？」傅方進說：「打賭就打賭。」朵橋財主說：「你們若贏杉行老闆，我心甘情願將祖業石尖山上的大石頭坪，無償地給你們採石築牆，要多少給多少，絕不後悔！如若你們輸了，我只要你們兩個兄弟跪在我面前連叫三聲阿公就好了！因為我不缺錢財，也不欠長工，最需要的是鄉裡的威望。」傅家兄弟異口同聲說：「好！很好！但是口說無憑，咱們得立個字據才行！」這三個有錢人都覺得這兩個窮小子好對付，打賭一定穩操勝券，就很樂意地接受對方要求。不久，四張字據寫好了，各方都在上面籤字和蓋手印，並各執一份。
「凡人不可貌相，海水不可鬥量。」這時，傅方升從容不迫地用右手伸進麻袋取銀，當場將五十兩白銀交給杉行老闆。這三個有錢人平時最瞧不起窮漢，今天在事實面前，個個瞠目結舌，欲哭無淚，乖乖地低頭認輸。
事後，傅方升兄弟根據字據的規定，僱人搬回了應得的大量杉料和磚瓦，開採了石尖山上的無數石料，聘請能工巧匠，營造一座與眾不同的大厝。經過一兩年努力，終於建成了當時泉州府獨一無二、風格奇特、結構精巧、雄偉壯觀的方形大土樓，命名為「聚奎樓」。整座大土樓分為三層十間房屋，建造得非常堅固，防水防火又防盜，堪與閩西的土樓媲美。傅方升兄弟還利用雄厚的資金經營商業，發了大財，成為富甲一方的大員外，其子孫非常興旺發達，相繼建築了十多座富麗堂皇的三進五間大厝，建築群便自然而然地形成了一大奇觀，令人嘆為觀止。
常言道：「福無雙至。」可是朵橋傅家兄弟竟「五福臨門」，一得地下銀庫，二得杉行木材，三得窯主磚瓦，四得財主石料，五得經商發財。「有朵橋富無朵橋厝，有朵橋厝無朵橋富」的俗語，便隨著這則故事在泉州民間中流傳著。