《金瓶梅》的作者虽然已被一般道学家肯定为王世贞（他们以为这样一来，会使读者饶恕它的“猥亵”描写），但是他为什么要写这书？书中的对象是谁？却众说纷纭，把它归纳起来不外是：
甲、复仇说 对象（1）严世蕃
（2）唐顺之
乙、讽刺说 对象——严氏父子
为什么《金瓶梅》会和唐顺之发生关系呢？这里面又包含着另外一个故事——《清明上河图》的故事。
（一）《清明上河图》和唐荆川
《寒花盦随笔》：
“世传《金瓶梅》一书为王弇州（世贞）先生手笔，用以讥严世蕃者。书中西门庆即世蕃之化身，世蕃亦名庆，西门亦名庆，世蕃号东楼，此书即以西门对之。”“或谓此书为一孝子所作，所以复其父仇者。盖孝子所识一巨公实杀孝子父，图报累累皆不济。后忽侦知巨公观书时必以指染沫，翻其书页。孝子乃以三年之力，经营此书。书成黏毒药于纸角，觊巨公外出时，使人持书叫卖于市，曰天下第一奇书，巨公于车中闻之，即索观，车行及其第，书已观讫，啧啧叹赏，呼卖者问其值，卖者竟不见，巨公顿悟为所算，急自营救已不及，毒发遂死。”今按二说皆是，孝子即凤洲（世贞号）也，巨公为唐荆川（顺之），凤洲之父忬死于严氏，实荆川赞之也。姚平仲《纲鉴絜要》载杀巡抚王忬事，注谓“忬有古画，严嵩索之，忬不与，易以摹本。有识画者为辨其赝。嵩怒，诬以失误军机杀之”。但未记识画人姓名，有知其事者谓识画人即荆川，古画者《清明上河图》也。
凤洲既抱终天之恨，誓有以报荆川，数遣人往刺之，荆川防护甚备。一夜，读书静室，有客自后握其发将加刃，荆川曰：“余不逃死，然须留遗书嘱家人。”其人立以俟，荆川书数行，笔头脱落，以管就烛，佯为治笔，管即毒弩，火热机发，镞贯刺客喉而毙。凤洲大失望！
后遇于朝房，荆川曰：“不见凤洲久，必有所著。”答以《金瓶梅》，实凤洲无所撰，姑以诳语应耳。荆川索之急，凤洲归，广召梓工，旋撰旋刊，以毒水濡墨刷印，奉之荆川。荆川阅书甚急，墨浓纸黏，卒不可揭，乃屡以纸润口津揭书，书尽毒发而死。
或传此书为毒死东楼者。不知东楼自正法，毒死者实荆川也。彼谓以三年之力成书，及巨公索观于车中云云，又传闻异词耳。
这是说王忬进赝画于严嵩，为唐顺之识破，致陷忬于法。世贞图报仇，进《金瓶梅》毒死顺之。刘廷玑的《在园杂志》也提到此事，不过把《清明上河图》换成《辋川真迹》，把识画人换成汤裱褙，并且说明顺之先和王忬有宿怨。他说：
明太仓王思质（忬）家藏右丞所写《辋川真迹》，严世蕃闻而索之。思质爱惜世宝，予以抚本。世蕃之裱工汤姓者，向在思质门下，曾识此图，因于世蕃前陈其真赝，世蕃衔之而未发也。会思质总督蓟辽军务，武进唐应德、顺之以兵部郎官奉命巡边，严嵩觞之内阁，微有不满思质之言，应德颔之。至思质军，欲行军中驰道，思质以己兼兵部堂衔难之，应德怫然，遂参思质军政废弛，虚縻国帑，累累数千言。先以稿呈世蕃，世蕃从中主持之，逮思质至京弃市。
到了清人的《缺名笔记》，又把这故事变动一下：
《金瓶梅》为旧说部中四大奇书之一，相传出王世贞手，为报复严氏之《督亢图》。或谓系唐荆川事。荆川任江右巡抚时有所周纳，狱成，罹大辟以死。其子百计求报，而不得间。会荆川解职归，遍阅奇书，渐叹观止。乃急草此书，渍砒于纸以进，盖审知荆川读书时必逐页用纸黏舌，以次披览也。荆川得书后，览一夜而毕，蓦觉舌木强涩，镜之黑矣。心知被毒，呼其子曰：“人将谋我，我死，非至亲不得入吾室。”逾时遂卒。
旋有白衣冠者呼天抢地以至，蒲伏于其子之前，谓曾受大恩于荆川，愿及未盖棺前一亲其颜色。鉴其诚许之入，伏尸而哭，哭已再拜而出。及殓则一臂不知所往，始悟来者即著书之人，因其父受缳首之辱，进鸩不足，更残其支体以为报也。
（二）汤裱褙
识画人在另一传说中，又变成非大儒名臣的当时著名装潢家汤裱褙。这一说最早的要算沈德符的《野获编》，他和世贞同一时代，他的祖、父又都和王家世交，所以后人都偏重这一说。《野获编补遗》卷二《伪画致祸》：
严分宜（嵩）势炽时，以诸珍宝盈溢，遂及书画骨董雅事。时鄢懋卿以总鹾使江淮，胡宗宪、赵文华以督兵使吴越，各承奉意旨，搜取古玩，不遗余力。时传闻有《清明上河图》手卷，宋张择端画，在故相王文恪（鏊）胄君家，其家钜万，难以阿堵动。乃托苏人汤臣者往图之，汤以善装潢知名，客严门下，亦与娄江王思质中丞往还，乃说王购之。王时镇蓟门，即命汤善价求市，既不可得，遂嘱苏人黄彪摹真本应命，黄亦画家高手也。
严氏既得此卷，珍为异宝，用以为诸画压卷，置酒会诸贵人赏玩之。有妒王中丞者知其事，直发为赝本。严世蕃大惭怒，顿恨中丞，谓有意绐之，祸本自此成。或云即汤姓怨弇州伯仲自露始末，不知然否？
这一说是《清明上河图》本非王忬家物，由汤裱褙托王忬想法不成功，才用摹本代替，末了还是汤裱褙自发其覆。顾公燮《消夏闲记摘抄》作《金瓶梅缘起王凤洲报父仇》一则，即根据此说加详，不过又把王鏊家藏一节改成王忬家藏，把严氏致败之由，附会为世蕃病足，把《金瓶梅》的著作目的改为讥刺严氏了：
太仓王忬家藏《清明上河图》，化工之笔也。严世蕃强索之，忬不忍舍，乃觅名手摹赝者以献。先是忬巡抚两浙，遇裱工汤姓流落不偶，携之归，装潢书画，旋荐之世蕃。当献画时，汤在侧谓世蕃曰：“此图某所目视，是卷非真者，试观麻雀小脚而踏二瓦角，即此便知其伪矣。”世蕃恚甚，而亦鄙汤之为人，不复重用。
会俺答入寇大同，忬方总督蓟、辽，鄢懋卿嗾御史方辂劾忬御边无术，遂见杀。后范长白公允临作《一捧雪》传奇，改名为《莫怀古》，盖戒人勿怀古董也。
忬子凤洲（世贞）痛父冤死，图报无由。一日偶谒世蕃，世蕃问坊间有好看小说否？答曰有，又问何名，仓卒之间，凤洲见金瓶中供梅，遂以《金瓶梅》答之，但字迹漫灭，容钞正送览。退而构思数日，借《水浒传》西门庆故事为蓝本，缘世蕃居西门，乳名庆，暗讥其闺门**放，而世蕃不知，观之大悦。把玩不置。
相传世蕃最喜修脚，凤洲重赂修工，乘世蕃专心阅书，故意微伤脚迹，阴擦烂药，后渐溃腐，不能入直，独其父嵩在阁，年衰迟钝，票本批拟，不称上旨，宠日以衰。御史邹应龙等乘机劾奏，以至于败。
徐树丕的《识小录》又以为汤裱褙之证画为伪，系受贿不及之故，把张择端的时代由宋升至唐代，画的内容也改为汴人掷骰：
汤裱褙善鉴古，人以古玩赂严世蕃必先贿之，世蕃令辨其真伪，其得贿者必曰真也。吴中一都御史偶得唐张择端《清明上河图》临本馈世蕃而贿不及汤。汤直言其伪，世蕃大怒，后御史竟陷大辟。而汤则先以诓谝遗戍矣。
余闻之先人曰《清明上河图》皆寸马豆人，中有四人樗蒲，五子皆六而一犹旋转，其人张口呼六，汤裱褙曰：“汴人呼六当撮口，而今张口是采闽音也。”以是识其伪。此与东坡所说略同，疑好事者伪为之。近有《一捧雪》传奇亦此类也，特甚世蕃之恶耳。
（三）况叔祺及其他
梁章钜《浪迹丛谈》记此事引王襄《广汇》之说，即本《识小录》所载，所异的是不把识画人的名字标出，他又以为王忬之致祸是由于一诗一画：
王襄《广汇》：“严世蕃常索古画于王忬，云值千金，忬有临幅绝类真者以献。乃有精于识画者往来忬家有所求，世贞斥之。其人知忬所献画非真迹也，密以语世蕃。会大同有虏警，巡按方辂劾忬失机，世蕃遂告嵩票本论死。”
又孙之
《二申野录注》：“后世蕃受刑，弇州兄弟赎得其一体，熟而荐之父灵，大恸，两人对食，毕而后已。诗画贻祸，一至于此，又有小人交构其间，酿成尤烈也。”
按所云诗者谓杨椒山（继盛）死，弇州以诗吊之，刑部员外郎况叔祺录以示嵩，所云画者即《清明上河图》也。
综合以上诸说，归纳起来是：
（1）《金瓶梅》为王世贞作，用意：（甲）讥刺严氏；（乙）作对严氏复仇的《督亢图》；（丙）对荆川复仇。
（2）唐荆川谮杀王忬，忬子世贞作《金瓶梅》，荆川于车中阅之中毒卒。
（3）世贞先行刺荆川不遂，后荆川向其索书，遂撰《金瓶梅》以毒之。
（4）唐、王结怨之由是荆川识《清明上河图》为伪，以致王忬被刑。
（5）《金瓶梅》为某孝子报父仇作，荆川因以被毒。
（6）汤裱褙识王忬所献辋川真迹为伪，唐顺之行边与王忬忤，两事交攻，王忬以死。
（7）《清明上河图》为王鏊家物，世蕃门客汤臣求之不遂，托王忬想法也不成功，王忬只得拿摹本应命，汤裱褙又自发其覆，遂肇大祸。
（8）严世蕃强索《清明上河图》于王忬，忬以赝本献，为旧所提携汤姓者识破。
（9）世蕃向世贞索小说，世贞撰《金瓶梅》以讥其闺门**放，而世蕃不知。
（10）世贞赂修工烂世蕃脚，不能入直，严氏因败。
（11）王忬献画于世蕃，而贿不及汤裱褙，因被指为伪，致陷大辟。
（12）王忬致祸之由为《清明上河图》及世贞吊杨继盛诗触怒严氏。
以上一些五花八门的故事，看起来似乎很多，其实包含着两个有联系的故事——《清明上河图》和《金瓶梅》。