曹雪芹(?~1763),名霑，號雪芹，又號芹溪、芹圃，祖籍遼陽。曹雪芹可確定的最遠的祖先是籍貫東北遼陽的曹世選。曹世選一家是漢族的讀書人家，明朝天啟元年(1621),努爾哈赤統帥的後金軍隊攻佔瀋陽、遼陽及遼河以東的70多座城池，並將首都遷到遼陽。曹世選一家大約是在這一年被後金軍隊俘獲而淪為滿族皇室的包衣。包衣是滿語譯音「包衣阿哈」的簡稱，是家庭奴隸的意思。他們主要從事農業耕作和家務勞動，編入八旗編制，為主子私有，世代為包衣。
曹世選的兒子曹振彥是曹雪芹的高祖，父子都是多爾袞屬下包衣，屬於八旗中的正白旗。曹振彥早年在滿洲官辦學校教書，清順治元年(1644)隨清軍入關到北京，順治七年被派往平陽吉州任知州，兩年後升任大同知府。三年後又調任兩浙都轉運鹽使司運使，這是關係國計民生的要職。多爾袞死後，他生前掌管的正白旗由皇帝接管，曹振彥一家隨之歸屬內務府，成為皇帝本人的家奴。
內務府是管理宮廷事務、直接為皇帝服務的機構。曹振彥的長子曹璽、次子曹爾正都在內務府任職。曹璽為曹雪芹的曾祖，做過順治皇帝的侍衛，其妻孫氏是康熙皇帝幼時的保姆。滿人家庭有尊重保姆、乳母的習俗，這就加深了曹家與皇室的關係，尤其是與康熙皇帝有獨特的關係。康熙二年（1663),曹璽出任江寧織造，地位僅次於兩江總督，但為皇帝親信。當時江寧(今南京)蘇州、杭州三處設織造，負責供應宮廷衣料及祭祀、封誥、賞賜所用的織物。曹璽作為皇帝的家奴，除了本職事務外，還要為皇帝搜刮山珍海味、文玩古董；特別是要充當耳目，向皇帝報告吏治民情，以便加強對江南的控制。曹璽既忠心又得力，深得康熙皇帝的寵信。曹璽在江寧織造一直供職到康熙二十三年(1684)病逝。
曹璽有兩個兒子，曹寅、曹宣。曹寅字子清，號荔軒、楝亭，是康熙年間很有影響的人物，早年是康熙的伴讀，擔任過御前侍衛，協助康熙剷除鰲拜。康熙二十九年(1690),曹寅出任蘇州織造，兩年後調任江寧織造，繼承了父業。任職期間，他還一度和李煦(蘇州織造)輪流兼任兩淮巡鹽御史。曹寅的政績受人稱道，康熙皇帝對他十分倚重，視為心腹。曹寅每次密折陳奏，都要詳細報告江南各方面的情況，細到雨水、莊稼收成、物價等，但重點是江南的輿論和社會動向。對於見聞，曹寅都如實呈奏，很有膽略。曹寅的兩個女兒，都由康熙皇帝指婚嫁入皇家成為王妃；康熙皇帝曾6次南巡，後面4次都是由曹家接駕，這些都極大地提高了曹家的身份和社會地位。曹寅55歲病逝，由他的兒子曹顒接任江寧織造，曹顒任職僅3年就病逝了。康熙下旨將曹宣的兒子曹頰過繼給曹寅的妻子，並接任江寧織造。曹顆、曹頰是曹雪芹的父輩。
曹寅在世時，曹家處於赫赫揚揚的盛世，但實際上榮華中已潛伏著衰敗的危機。兩淮鹽務和織造署都出現巨額虧空，這其實主要是康熙皇帝的幾次南巡造成的；與此同時，宮廷內部爭奪帝位的鬥爭也日趨激烈，作為康熙的家臣，曹家難免會被牽連，曹寅在世時已經意識到了潛藏的危機。雍正繼位後，曹家果然在劫難逃，曹頰兩度被罷官抄家，曹家從此一蹶不振，正應了曹寅生前「樹倒猢猻散」的口頭禪。曹雪芹這時十二三歲。
曹家是一個非常特別的家庭。作為包衣，他們是皇帝的奴僕，沒有人身自主權。但是自曹振彥以來，他們家許多人都有官職，也有自己的家奴、莊地、房產，擁有巨大的財富，特別是他們作為皇帝寵信的家臣，地位顯貴，炙手可熱。出身於這樣一個既卑賤又顯貴的家庭，又目睹了家族由盛到衰的過程，曹雪芹形成了自己特殊的經歷、特殊的品格和精神世界。
曹家還是一個書香世家，雖然是包衣，但有很高的學問和文化修養。曹家的人能以包衣的身份受到重用，原因就在於此。曹振彥是貢士，即通過考試選拔出來的地方官。曹璽善於作詩，有較高的文學造詣，經常與著名文士來往，曹寅兄弟倆從小就受到薰陶。尤其是曹寅，童年時就能作詩，才藝驚人，22歲時就編成第一本詩集《荔軒草》,後來又有詩集《舟中吟》和《西農詞》問世，並著有劇本《北紅拂記》、《續琵琶記》、《太平樂事》、《虎口餘生》。
曹寅喜歡藏書，《楝亭書目》是他的藏書目錄，共收書3200多種，兩萬多冊，涉及的範圍非常廣泛。曹寅還精於勘印書籍，《全唐詩》、《佩文韻府》就出自他的書局，經他勘印的書籍很多都是精品。此外，曹寅還和康熙年間許多知名文士、學者有密切的交往，與他們建立了深厚的友誼，在文士中享有很高的聲望。曹雪芹出生時曹寅已經去世，但還是趕上了曹家最後的一段繁華，並且從小耳濡目染，受到家學的薰陶，詩、詞、曲、賦、畫無所不能，又從祖父留下的藏書中汲取了廣博的知識，從而為《紅樓夢》的問世打下深厚的基礎。