曹雪芹在右翼宗学的岁月是他长大成人后生活最稳定的阶段，随着一些变故发生，也行将结束了。乾隆十五年（1750 年），内务府对右翼宗学实行改组，不但人事方面要进行调整，校址也将迁到宣武门内绒线胡同新址。
曹雪芹与敦敏、敦诚兄弟们日日剪烛快谈、联吟结社的事，终于引起了宗学的注意。试想，一个当差的内务勤杂人员，竟吸引了那么多位学生在他周围，这岂不是跟宗学的正统教育分庭抗礼吗？再说，皇室子弟崇拜一个包衣奴才成何体统。
此外，恐怕还有一个原因，曹雪芹孤傲狂放，他的诗文谈吐，确比不少有功名、有头衔的教师高明得多，这样下去，其他教师还会有脸面吗？如此种种，宗学终于借了个因由，把曹雪芹扫地出门了。
曹雪芹失业了，没有了正当的职业，就意味着没有饭吃了。
曹雪芹从此进入了十分困难的流浪的时期，这种处境也是他后半生的基本状况。
他是一个公子哥儿出身的人，不懂得生计的事，也无经营之门路，甚至连衣食也不能自理，是需要人服侍的废物。这就是他自谓的天下无能第一了。
他很快就陷入了缺衣少食、举目无援的困境。在极端的困窘折磨着他的时候，他发出了“富贵不知乐业，贫穷难耐凄凉”
的感慨。
当时潦倒的曹雪芹，所能想出来的办法就是求亲告友，忍辱负重地求一个寄食借住之地，暂且勉强苟活。
平郡王府是第一处可以托身寄命的所在。姑母会疼怜他，收容他。平郡王府多一个半个吃闲饭的穷亲戚，原算不得一回事。有些难堪之言，遭受下边人的白眼……这些世态炎凉的人间相，曹雪芹领会了。
不幸的是，平郡王福彭早在乾隆十三年（1748 年）便去世了。福彭死后，府中情况已大不如前。曹雪芹在平郡王府勉强住了一段时间，眼看无法再住下去，只好向姑母辞行，来到了岳父母家。
然而他在岳父母家的经历并不很愉快。也许就有些像《红楼梦》中封肃这个人对待他的女婿甄士隐那样：今见女婿这等狼狈而来，心中便有些不乐……士隐乃读书之人，不惯生理稼穑等事……肃每见面时，便说些现成话，且人前人后，又怨他们不善过活，只一味好吃懒做等语。士隐知投人不着，心中未免悔恨……这种局面自然不能久长，曹雪芹渐渐与岳父母家断绝了来往。
在无亲友可投时，曹雪芹不得不住在庙院里。曹雪芹小时去过的古庙卧佛寺，那时是赏景，如今成了贫无可归的曹雪芹的寄居处。
住处勉强有了，可是三餐没着落。曹雪芹就靠写小说来维持生计。可是写小说是要用纸的，而他连纸也无钱去买。他就把旧历书拆开，翻转了页子作为稿纸，每夜一个人挑灯写作。
比寄食生涯略为强一些的，是他后来有了在富贵人家做西宾，也就是当家庭教师的机会。由于人人都知道他才学最富，罕与之匹，于是被“明相国”府请去做了西宾。
明府的主人明亮本人是通文墨的，能作小诗句，还能画几笔墨竹。但他对曹雪芹这样**不拘的人，未必喜欢，再加上旁人的嫉妒和诬谤，给曹雪芹加上了一个有文无行的罪状。不久，明亮就把曹雪芹辞掉了。
被相府辞退了的曹雪芹，声名大坏，没人再敢请他了。曹雪芹在京城内已无立足容身之地。曹雪芹做西宾时继续写人人皆知的《石头记》，不少人爱看他的书稿，及至看不到下文时，就来催促他快些接写下去。
曹雪芹每当此时，就对催书的人说：“你给我弄来南酒、烧鸭，我吃饱喝足，就给你续写下一回！”