太爺在世的時候，已很有文名，但他對庭園景物不曾多加經營，隻是在剛到任後不久親手種過一株楝樹，及至此樹長大成蔭，乃在其下築一草亭，爺爺為此特別給自己選定了「楝亭」二字作為別號。太祖母姓孫，康熙老皇帝就是她撫養帶大的，當康熙三十八年（1699），她已六十八歲，皇帝南巡，就以織造署為行宮，見了孫夫人老保母，十分高興，因見庭中萱花已開，古人正是以萱喻母，於是親書「萱瑞堂」三個大字賜她，就懸掛在內院正廳上。這一亭一堂，乃是曹家的家世歷史文物，子孫對它們懷著深厚的感情，出生於這樣環境下的曹雪芹自然也不例外，從小就聽家人講述它們的來歷。
曹雪芹的太爺卒後六七年，從康熙二十九年（1690）起，爺爺曹寅又由京城外任，派到蘇州去做織造官，《楝亭詩鈔》的卷第二就是從這裏開始；等到康熙三十一年，這才又從蘇州移任江寧，在《詩鈔》卷二中有兩首《西園種柳述感》五言律，就是祖父當時的心情，歷史的見證：在昔傷心樹，重來年少人。
……
手植今生柳，烏啼半夜霜。
江城正搖落，風雪兩三行。
這是曹家隔了整整九年又回到江寧老宅時的情景，那時正是仲冬十一月間。
自從這時起，被別人胡亂住了近十年的故居，在曹家人眼裏簡直已成十分「荒寒」了的樣子，很快便開始改變了光景。到小雪芹在這裏生活的時候，已經是三十幾年的光陰過去了，爺爺半生的經營，移竹添花，汲地種草，處處留下了豐富而又深刻的痕跡。老楝婆娑，自不待言，山坳的高柳，也格外瀟灑；梨花玉蘭，鼠姑石莧，一時數之不盡；幾處亭館，一經高手點綴，自有無限風光。曹雪芹對爺爺特別喜歡的外署文酒宴會的西堂，內院萱瑞堂一側的西軒，和整個府院半偏的西園，也是格外感到意味深長，心懷親切。
他當時雖然還不能懂得其中的種種事故，但到他長大一些，能讀懂爺爺的詩卷時，句句引起了他的回憶和感慨。「讀書過日，學射為郎」，意思是讀書就是最好的生活，不要追求享樂；生為男子，應當習武——是祖訓也是「家法」。爺爺把年小的子侄都帶到南京同住，一麵「命兒讀《（94）風》，字字如珠圓」，一麵「繩量馬道不（94）斜，雁字排栽築水沙；世代暗傷弓力弱，交床側坐撚翎花」（摘自《射堂柳已成行命兒輩習射作三截句寄子（猷94）》）。
子嗣們都在這個宅院裏長大，他們嘴裏無法避免地帶上了渡江以南的口音——這件事曹雪芹從他爺爺的詩裏就能找到感慨的痕跡，還有太祖母的形象也仿佛能在祀灶詩裏看到了：
羊剝棗竟無文，祈福何勞祝少君；所願高堂頻健飯，燈前兒女拜成群。
當此流年急景，臘鼓頻催的大年底下——
楮火連街映遠天，歲行風景倍悽然；江城爆竹聲何據，一片餳香三十年。
至於府後的西園，從爺爺那因豐潤族兄來訪而寫的詩句就更能見它的歷史：
西池歷二紀，仍；簿書與家累，相對無一可；連枝成漂萍，叢；歸與空浩然，南轅計誠左。
……
雪芹到後來才明白，這座西池，對曹家來說，並不單是一處「外麵好看」的遊玩之地，裏麵包含了一部辛酸的家世史，無盡的難言之痛。他爺爺一回到這裏來就寫出了「艱難曾足間？先後一沾巾」的痛語，不但是回顧，也是預言了他家的命運。
到了曹雪芹作書、脂硯批書的時候，那老宅果然已成為「空宅」了——因為從幹隆十六年，曹家住過六七十年、誕生了曹雪芹的這處宅院，變成了幹隆皇帝的「大行宮」，長年封閉，無得擅入，那「大門外」確實是「冷落無人」了。
少年時代
隨著時間的推移，小雪芹由一個呀呀學語的嬰兒長成了一個愛聽大人講故事的小孩子。
故事各式各樣，神話、寓言、民間傳說、歷史故事、戲文與小說的摘敘……，這些是兒童的另一種「世界」，另一處「天地」，小孩的智慧由它們啟牖，文學藝術的種子由它們播植。但是對小雪芹而言，卻有著與眾不同的經歷：聽西洋人講外國故事。
按照當時中國的禮法，婦女與兒童是不允許聽外國人講故事的。由於南京、蘇州、杭州是江南產絲和紡織的三大集中點，其中又以南京為首。當時外國絲綢商人的足跡自然會進入這些地方。有一位英國絲綢商人名叫菲利浦·溫士頓的，到了南京，結識了曹頫，二人相交頗為投機，曹請他傳授西方的紡織技術，在交往的時候，東道主經常即興賦詩，以抒情懷。作為酬謝，菲就講一些《聖經》故事，或者莎士比亞劇本的故事給主人聽，頗有口才的他，講得繪聲繪色，引人入勝，於是就吸引得曹府上上下下都在偷偷地傳述著西洋故事。在菲來訪的日子，小雪芹經常偷偷地走到附近入迷地竊聽那些動人的情景。當曹父獲知此事時，十分生氣，惱恨這個不聽話的孩子的越軌行為，於是把小雪芹狠狠地打罵了一番。這段情景，被曹雪芹寫到了《紅樓夢》中，寶玉受虐待上。小時的雪芹由於經常違反定規，所以總是備受打罵，因而他在描寫賈父痛打寶玉的時候，才能把其時、其情、其景寫得栩栩如生：
「寶玉急得手腳正沒抓尋處，隻見賈政的小廝走來，逼著他出去了。賈政一見，眼都紅了，也不暇問他在外流蕩優伶，表贈私物，副淫母婢，隻喝命「堵起嘴來，著實打死！」小廝不敢違，隻得將寶玉按在凳上，舉起大板，打了十來下，寶玉自知不能討饒，隻是嗚嗚地哭。賈政還嫌打的輕，一腳踢開掌板的，自己奪過板子來，狠命地又打了十幾下。
曹雪芹的太爺卒後六七年，從康熙二十九年（1690）起，爺爺曹寅又由京城外任，派到蘇州去做織造官，《楝亭詩鈔》的卷第二就是從這裏開始；等到康熙三十一年，這才又從蘇州移任江寧，在《詩鈔》卷二中有兩首《西園種柳述感》五言律，就是祖父當時的心情，歷史的見證：在昔傷心樹，重來年少人。
……
手植今生柳，烏啼半夜霜。
江城正搖落，風雪兩三行。
這是曹家隔了整整九年又回到江寧老宅時的情景，那時正是仲冬十一月間。
自從這時起，被別人胡亂住了近十年的故居，在曹家人眼裏簡直已成十分「荒寒」了的樣子，很快便開始改變了光景。到小雪芹在這裏生活的時候，已經是三十幾年的光陰過去了，爺爺半生的經營，移竹添花，汲地種草，處處留下了豐富而又深刻的痕跡。老楝婆娑，自不待言，山坳的高柳，也格外瀟灑；梨花玉蘭，鼠姑石莧，一時數之不盡；幾處亭館，一經高手點綴，自有無限風光。曹雪芹對爺爺特別喜歡的外署文酒宴會的西堂，內院萱瑞堂一側的西軒，和整個府院半偏的西園，也是格外感到意味深長，心懷親切。
他當時雖然還不能懂得其中的種種事故，但到他長大一些，能讀懂爺爺的詩卷時，句句引起了他的回憶和感慨。「讀書過日，學射為郎」，意思是讀書就是最好的生活，不要追求享樂；生為男子，應當習武——是祖訓也是「家法」。爺爺把年小的子侄都帶到南京同住，一麵「命兒讀《（94）風》，字字如珠圓」，一麵「繩量馬道不（94）斜，雁字排栽築水沙；世代暗傷弓力弱，交床側坐撚翎花」（摘自《射堂柳已成行命兒輩習射作三截句寄子（猷94）》）。
子嗣們都在這個宅院裏長大，他們嘴裏無法避免地帶上了渡江以南的口音——這件事曹雪芹從他爺爺的詩裏就能找到感慨的痕跡，還有太祖母的形象也仿佛能在祀灶詩裏看到了：
羊剝棗竟無文，祈福何勞祝少君；所願高堂頻健飯，燈前兒女拜成群。
當此流年急景，臘鼓頻催的大年底下——
楮火連街映遠天，歲行風景倍悽然；江城爆竹聲何據，一片餳香三十年。
至於府後的西園，從爺爺那因豐潤族兄來訪而寫的詩句就更能見它的歷史：
西池歷二紀，仍；簿書與家累，相對無一可；連枝成漂萍，叢；歸與空浩然，南轅計誠左。
……
雪芹到後來才明白，這座西池，對曹家來說，並不單是一處「外麵好看」的遊玩之地，裏麵包含了一部辛酸的家世史，無盡的難言之痛。他爺爺一回到這裏來就寫出了「艱難曾足間？先後一沾巾」的痛語，不但是回顧，也是預言了他家的命運。
到了曹雪芹作書、脂硯批書的時候，那老宅果然已成為「空宅」了——因為從幹隆十六年，曹家住過六七十年、誕生了曹雪芹的這處宅院，變成了幹隆皇帝的「大行宮」，長年封閉，無得擅入，那「大門外」確實是「冷落無人」了。
少年時代
隨著時間的推移，小雪芹由一個呀呀學語的嬰兒長成了一個愛聽大人講故事的小孩子。
故事各式各樣，神話、寓言、民間傳說、歷史故事、戲文與小說的摘敘……，這些是兒童的另一種「世界」，另一處「天地」，小孩的智慧由它們啟牖，文學藝術的種子由它們播植。但是對小雪芹而言，卻有著與眾不同的經歷：聽西洋人講外國故事。
按照當時中國的禮法，婦女與兒童是不允許聽外國人講故事的。由於南京、蘇州、杭州是江南產絲和紡織的三大集中點，其中又以南京為首。當時外國絲綢商人的足跡自然會進入這些地方。有一位英國絲綢商人名叫菲利浦·溫士頓的，到了南京，結識了曹頫，二人相交頗為投機，曹請他傳授西方的紡織技術，在交往的時候，東道主經常即興賦詩，以抒情懷。作為酬謝，菲就講一些《聖經》故事，或者莎士比亞劇本的故事給主人聽，頗有口才的他，講得繪聲繪色，引人入勝，於是就吸引得曹府上上下下都在偷偷地傳述著西洋故事。在菲來訪的日子，小雪芹經常偷偷地走到附近入迷地竊聽那些動人的情景。當曹父獲知此事時，十分生氣，惱恨這個不聽話的孩子的越軌行為，於是把小雪芹狠狠地打罵了一番。這段情景，被曹雪芹寫到了《紅樓夢》中，寶玉受虐待上。小時的雪芹由於經常違反定規，所以總是備受打罵，因而他在描寫賈父痛打寶玉的時候，才能把其時、其情、其景寫得栩栩如生：
「寶玉急得手腳正沒抓尋處，隻見賈政的小廝走來，逼著他出去了。賈政一見，眼都紅了，也不暇問他在外流蕩優伶，表贈私物，副淫母婢，隻喝命「堵起嘴來，著實打死！」小廝不敢違，隻得將寶玉按在凳上，舉起大板，打了十來下，寶玉自知不能討饒，隻是嗚嗚地哭。賈政還嫌打的輕，一腳踢開掌板的，自己奪過板子來，狠命地又打了十幾下。