在古典小說《紅樓夢》中，榮禧堂是榮國府的中心建築，而「榮禧堂」這三個字則是皇帝親筆題寫的《賜榮國公賈源書》，下面是皇帝的印璽：「千千萬萬宸翰之寶」。由此可以看出，賈府是深受皇帝寵愛的，而賈源和他的胞弟賈演的歷史原型是曹寅的父親曹璽，即曹雪芹的曾祖父。
曹璽原名叫曹爾玉，後因康熙帝將爾玉連寫為璽，故而得名，自明末以來，祖父曹錫遠曾任明朝瀋陽中衛指揮，清軍攻佔瀋陽時，年幼的曹璽和他的家人被清軍俘虜，隨後被帶到皇太極府做「包衣阿哈(家奴)」。
曹璽長大後也入軍參軍，逐漸顯露頭角，他的妻子孫氏是康熙帝的保姆，後來曹璽鎮壓山西叛亂有功，被康熙帝派去監軍江寧織造，這位皇商在南京設局生產宮廷所需的絲織品，曹璽鎮壓山西叛亂有功，被康熙帝派去監軍，子孫後代都在此任職。
由其曾祖父曹璽、曾祖父曹寅到父輩，曹雪芹三代襲官而居江寧織造府，據相關文獻記載，曹雪芹亦約生於此府。在16歲入宮後，曹寅便成為康熙鑾儀衛，由於曹寅的母親是康熙帝的保姆，其父為清廷所用，故曹寅為康熙帝所看重。
而且曹寅也是文武雙全，學識淵博，二十出頭就升任御前二等侍衛兼正白旗鼓佐領，如果說曹璽為曹家的興盛奠定了基礎，那麼曹寅就是錦上添花，為曹家增添了光彩等等，成為江南名流中的一員。
乾隆二十九(1690年)，康熙帝將曹寅提升為蘇州織造師，同樣是為宮廷提供織造的皇商，兩年後調到江寧織造師，康熙帝六次南巡，其中便有四次住在曹寅家中，也直接反映出康熙帝心中的曹寅。
但皇帝特別重視，對於曹家來說，究竟是好是壞？或許也只有曹家才知道，不過曹家的確是過著窮奢淫逸的日子，從曹雪芹幼年到少年時代，還是過著豪門生活，所以能寫出《紅樓夢》裡富麗堂皇的賈府細節。
但在曹雪芹十三歲時，曹家經歷了種種變故，雍正五年(1727年)，當時江寧織造員外郎的叔父曹俯因騷擾驛站，織造虧空，轉移財產而被判入獄，次年正月，雲霄節，曹家被抄家。曹寅及其親兒子先後死於江寧織造，康熙帝又把弟弟曹荃的第四子曹俯作為兒子繼承，到了曹俯這一代，皇帝逐漸與曹家疏遠，而且在康熙晚期，曹寅生前虧空了織造庫銀三十七萬三千兩。
導致這樣的結局，康熙帝是要付出很大的代價的，他六下江南，四次住在曹寅家裡，寅一家也到處為康熙帝準備極佳的東西，開銷可不小，而康熙帝能夠帶給曹家至高無上的榮耀，卻也帶給曹家沉重的負擔。
乾隆帝即位後，在全國大張旗鼓地查錢糧，追補虧空，雍正五年，曹家被抄，雍正見了曹家被抄的家產，也是倒吸了一口涼氣，只見查抄單上寫著：「曹家有家十三間，共計四百八十三間，地八間，共十九頃零六十七畝，家人大小男女共一百十四口，餘有桌椅床、舊衣服及當票各百張，外有欠曹銀共三萬二千兩。」本來江南首富曹家就只有這一樣東西。