曹家被抄家的第二年，即雍正六年（1728 年）的秋天，禁不住新任江宁织造隋赫德的再三催逼与驱赶，曹雪芹陪着祖母、母亲和婶娘，以及婶娘的儿子曹震，丫鬟锦儿、秋月、夏云等，带着仅有的一些衣物行李，终于洒泪告别江宁，登程北上了。
这回被遣返北京，走的是漫漫水路。从江宁水西门外秦淮河边上船，循江而东。船儿在滚滚东流的江水里行进，摇晃颠簸。曹雪芹不免心事浩渺，时时涌起被抄家的余悸。
船要行到瓜州渡口，再转入大运河逆水北上。沿途所见，金山的宝塔，扬州的瘦西湖，都是曹雪芹曾经游历流连过的旧地，如今物是人非，再没有当年的心境了。
这次出行不是出外探亲，更不是随父辈家人升迁赴任，而是被抄了家，撵出了世居的江宁，怎能不叫人触景伤怀、怅惘悲切呢？何况父亲曹頫尚待罪京中，审察未结，此一去命运如何，恐怕是凶多吉少了！
曹雪芹立在船头，望着渐行渐远的石头城，无端吟诵出唐代诗人杜牧的《泊秦淮》来：
烟笼寒水月笼沙，夜泊秦淮近酒家。
商女不知亡国恨，隔江犹唱**。
他觉得这首诗很符合他此刻的心境，虽然他此刻有的只不过是亡家之恨。皇上将曹家召回北京，是有来由的。因为曹雪芹的曾祖曹玺出任第一任江宁织造，就是从京城派去的，曹家在京中原有旧宅。
曹雪芹一行回京城以后，才弄清楚父亲曹頫因“骚扰驿站”
案获罪，现正“枷号”在押。
所谓的“骚扰驿站”案，就是有人告发曹頫于雍正四年（1726年）的秋天，奉命押送江宁、苏州、杭州三处织造的龙衣进京，在途经山东长清县等地方时，向当地官员索取夫马、程仪、骡价等银两超过规定，并引起了很大的影响。
且不必说这个事实到底如何，即使确有这等小小的揩油行为，在当时天下乌鸦一般黑的腐败官场里，岂不只是小事吗？
不值得大惊小怪。但是，欲加之罪，何患无辞，为了穷治异己，“莫须有”三字，足以置人于死地。
另一宗案子，是曹頫还牵进所谓奸党。上面曾查到曹頫间接替雍正皇帝的死敌皇子胤禵寄存过一对镀金狮子。好在后经进一步调查，并没有发现曹頫卷入过什么阴谋勾当，曹家不过是皇室的包衣奴隶，似也兴不起多大风浪，因此就不再追究。
曹頫于雍正七年（1729 年）总算是又一回沾了浩**天恩，被释放了出来。
曹家在京有两处住所，被抄家后留给他们的是崇文门外蒜市口老宅十七间半和家仆六人。这就是曹雪芹一家老小初回北京后的落脚地方，可谓很是寒酸。
后来又发还了早年曹玺居住过的名叫“芷园”的一处老屋，地址在内城东南角泡子河附近，即现今东城区建国门内大街北贡院一带。
那里庭院清幽，屋宇宽敞，有鹊玉轩、春帆斋、悬香阁等雅名别致的建筑，曹寅在诗集里多有吟咏。曹雪芹有时翻读祖父的《楝亭诗钞》，依诗觅踪，心里发思昔日的幽情，自然会生出许多感喟，于是作诗：
小院清阴合，长渠细溜穿。
西窗荷叶大如盘，烟雨寻常作画看。
尽管如今的芷园已经没有了昔日的勃勃生机，然而，毕竟见物思人，勾引出“诗中有画，画中有诗”的兴味来，曹雪芹还是喜欢上了这一处地方。
更使他感到快慰的是，这里也有祖父遗留的相当丰富的藏书，一如江宁西园里的书库。有了这些精神食粮，他觉得生活不那么凄苦和郁闷了。
曹家在迁回北京以后，随着时间的推移，雍正皇帝的权势越来越巩固，政治迫害至少在表面上稍稍有所放松，被抄家的压力减缓了不少。曹家的几支重要宗族姻亲，有的减了刑，有的复了职，还有的连得晋升。
雍正九年（1731 年），曹寅的妹夫傅鼐由被贬谪的地方召还，恢复了职衔，又入宫侍起居了。讷尔苏之子、曹雪芹的姑表兄平郡王福彭，于雍正十年任镶蓝旗满洲都统，次年得以在军机处行走，开始参与朝廷的机要事情处理了，继而又被提升为定边的大将军。
这些人事变动，对曹家是有利的，骨肉至亲，或明或暗总会给予一些照应的。尤其是福彭，曹雪芹的祖母李氏是他的外祖母，李氏健在之日，他对曹家处境上给予保护，生活上予以关照，自是分内的事。
再者，曹頫的族兄曹颀和堂伯父曹宜，在前次抄家之祸中并没有受到株连，仍然算是京中的殷实富户。
曹颀在宫内任侍卫，一直得到雍正皇帝的宠信，曾屡次获得赏赐御书“福”字。曹宜则在雍正十一年（1733 年）晋升为正三品大员，内务府正白旗护军参领。这对曹頫一门，至少在感情上会是一种安慰和依傍。如果抄家的案由特别严重的话，这些同宗均在九族之列，是很难幸免的。