汉武帝在对付诸侯王割据势力的同时，对怎样独揽中央大权也考虑了很多。在封建统治的政治生活中，官制改革始终是与整个政权的机构变动、职能转化直接联系。皇帝为了使自己的政治意愿得以有效贯彻，就需要依靠国家政权机构的运作。对于政权机构的调整，必然直接从官吏制度的变化、改革入手，从而达到终极的目的。
这时，丞相这个官衔在汉武帝的脑海里浮现。因为汉朝丞相的权力太大了，在一人之下，万人之上。要是不对他们采取一定的措施，皇帝手中的大权将无法施展。
丞相是秦代官制，设有左右丞相，右丞相居上，左丞相居下。丞相的官印是金印，印纽上系着紫色绶带，职责是“助理万机”。表面上，丞相要秉承皇帝旨意办事，实际上是整个政权的负责人。
皇帝在宫廷内接见大臣，处理国政，称为“内廷”；宫廷之外的事，都由丞相掌握，称为“外廷”。所有国家大事的决定、法令的制订、百官的管理，丞相无不参加，甚至有权斩杀其他官吏。
汉景帝以前的丞相，大多都是开国的功臣，例如萧何、曹参、陈平等都是这样。因此，皇帝十分敬重他们，百官更是对他们恭谨从命。当时的丞相实际上是朝廷掌握实权的总理大臣。丞相终身在位，必然导致皇帝权力的分散。
汉武帝即位后，窦太后要免卫绾相，他就顺水推舟了。接着，他在建元二年（前139 年）和建元六年，相继免去魏其侯窦婴和功臣后代柏至侯许昌的相职。六年之中，轻免三相。
建元六年（前135 年）六月，汉武帝任命武安侯田蚡为丞相。田蚡有王太后为政治和权力背景，又结交诸侯来扩大他的权力基础，所以权势得以渐长，百官都对他趋迎奉承。田蚡身材短小，相貌丑陋，为人奸诈贪鄙，本属缺德少才无功之徒，仅仅因为是王太后的弟弟而受封为侯，窃据相位。他所进言的政事，都是出于他豢养的宾客之谋。田蚡自恃有太后为靠山，非常骄横奢侈。
他建有最豪华的宅第，占有最肥沃的田园，每天去各郡县购买物品的车辆络绎不绝。大量接受公卿百官、诸侯、郡县的贿赂，家中的金玉、美女、狗马、古玩器物不可胜数。
每次进宫奏事，他总是夸夸其谈，一说就是大半天，所奏的事不准不罢休。因而他的奏请，汉武帝不得已只好一一采纳。田蚡还独揽任官除吏的大权，根本不把年轻的皇帝放在眼里。他所推荐的人，有的甚至从平民一下子便做到二千石的高官。
有一次，田蚡又拿来一大串任官的名单，汉武帝终于忍无可忍，问道：“你要任官的人有没有个完？朕也想要任命几个呢！”
窦婴在窦太皇太后在世时，官居大将军，封魏其侯，权倾朝野。当时，田蚡只是一个郎官，对窦婴极力巴结，说话、敬酒时总是跪着，恭敬如父。为此，窦婴对他全力栽培。
窦太皇太后死后，窦婴失势，以侯爵闲居在家。朝中的官吏、士人都转而去趋附新任丞相田蚡。窦婴门可罗雀，只有一个曾任过中郎将和燕国之相的灌夫仍然和他要好。
田蚡为相后，再不把窦婴放在眼里，反过来还要夺窦婴的田地。灌夫是一个军功卓著、性格耿直、嫉恶如仇的老将军，他见田蚡如此忘恩负义，以势欺人，心中愤愤不平。
在一次宴会上，灌夫借着酒劲，指桑骂槐地把田蚡大骂了一番。田蚡怀恨在心，便捏造罪名，串通太后，逼迫汉武帝于元光四年（前131 年）冬，将灌夫和救护他的窦婴处死。田蚡以诛杀公卿进一步树立了自己的**威。
田蚡害死这两位汉朝的大臣，不久，他也死了。田蚡死得很奇怪。
据说他是害死了窦婴和灌夫，这两个屈死的冤魂不屈服于田蚡，他们在阴曹地府仍和他作对，直到把他也拉到阎王爷那里。
一天，田蚡突然说浑身疼，身上如鞭子抽一般，疼得叫唤不已。侍从请来大夫，结果许多名医检查，连病情都诊断不清。急得他一百多个美人哭哭啼啼，宅府大院哭声一片。
王太后听说弟弟患病，许多名医诊治都不见效，觉着病得奇怪，头一天还好人一个，怎么会突然之间病到气息奄奄？汉武帝问舅舅怎么疼痛法，田蚡说只觉浑身如人用鞭抽一般。于是汉武帝和王太后请来一位方士，让给摆弄一下。
方士请下神来，神灵附了方士的身体说：“丞相曾杀害了两位大臣，是这两位大臣用鞭在他身上狠抽，报他们的一腔怨气。”
丞相一听，十分害怕。他怀疑方士胡说，查其是否是窦、灌二人的奸党。结果，没有几天，他身上果如鞭抽一般地红肿起来。一天，田蚡已奄奄一息，昏迷之中，连喊几声：“饶命！饶命！”便一命呜呼了。
窦婴和田蚡双双死去，对汉武帝来说，是一件好事。窦、田的斗争，其实也是窦氏势力和王氏势力的最后一次冲突。对汉武帝来说，不论窦氏掌权还是田蚡掌权，都会成为他独裁的绊脚石。田蚡在位时，依靠其姐姐王太后，已表现出为所欲为的样子。以后任用丞相，汉武帝便吸取教训，为削弱相权做了心理准备。
田蚡死于相位，继田蚡为相的是薛泽。薛泽是汉高祖时期的功臣广平侯薛欧的孙子，汉景帝时被封平棘侯，汉武帝当然不好对他颐指气使。于是，汉武帝说要用“文德”而改任公孙弘。
公孙弘出身贫苦，是放猪出身的读书人，六十多岁才征为博士。这种老儒生升任丞相，对皇帝自然感恩不尽，唯命是从。
有一天，公孙弘奉汉武帝之命去赴宴。进宫后，一眼就发现汉武帝穿着不整，而且还没有戴冠冕。他明白，自己还远没有和天子亲切到这种程度，这一定是对方在嘲讽和鄙视自己。宴会开始后，他坐了一会儿便给汉武帝敬酒，汉武帝却假装没看见，只和别的官员谈笑。汉武帝谈笑完，又命宫廷内的乐手奏乐，舞女们也出来献舞。
汉武帝沉浸在声色中，忘了丞相公孙弘的存在。待到月上中天，汉武帝这才明白过来说：“丞相，你怎么还在这里作陪？”
公孙弘听后，马上磕头告退。回到他自己府中，当即气得口吐鲜血，却仍是哑巴吃黄连，有苦说不出。公孙弘躺在**，难以入眠，因为他已明显感到自己的命运正如皇帝手中随意操纵的玩物，什么时候天子厌烦了，就会把他摔碎到地上，再踏上一脚。
第二天，有下属的郡国到丞相府汇报工作，丞相公孙弘看完之后，叹息道：“你们先回去吧，过几天我批后就给你们消息。”
来人一走，他马上就穿上朝服，坐轿直奔皇宫。他要把上书亲自交给汉武帝。这时的公孙弘已失去了以往由丞相直接控制地方长官的职权，他觉得此时的自己已经毫无价值。他想称病辞职，过一段安安稳稳的生活。但是，见了皇帝后，他就不再说出自己心里的半句真话，仍叩着首说：“卑臣愿在有生之年为皇帝效犬马之劳。”
“难得你一片忠心，为奖赏你的功劳，以后有什么重大的文书，就直接送我这里好了。但要牢记住，你的丞相之位是谁封的。”
公孙丞相返回家中，身子便软成一团。不久，公孙弘便忧劳成疾，一命归西。后来，御史大夫李蔡为相。汉武帝觉得李蔡符合自己的标准。可惜这位丞相没把握住自己，只利用权势多取了一点，被汉武帝得知后，定罪入狱，受尽了刑罚，终因抵挡不住酷刑而自杀。
后来又有赵周为丞相。因列侯献酎金成色不足，分量不够，汉武帝便以不敬罪夺爵106 人，再迁怒于丞相赵周，冤枉赵周说他知道列侯所献酎金不合规定，故意不奏皇帝处理，包庇列侯不重视宗庙祭祠，将其下狱治罪。赵周被迫在狱中自杀，落得和李蔡一样的命运。
太初二年（前103 年），公孙贺做了丞相。公孙贺是将门之子，与汉武帝有旧交。汉武帝为太子时，公孙贺为太子舍人，经常从侍左右。汉武帝即位，提升他为太仆。
公孙贺开始时不愿意接受丞相印绶，因为前几位丞相已经留下了前车之鉴。于是，他向汉武帝叩头流涕说：“臣本是边地骑马射箭的粗人，才能低下，不足以承担丞相重任，陛下免了吧！”
公孙贺讲得如此诚恳，哭得这样伤心，汉武帝和左右的官员都被感动得伤心落泪。汉武帝说：“把丞相扶起来吧！”公孙贺听说是扶丞相起来，跪在地上死也不肯起身。汉武帝令出必行，不管公孙贺如何涕泣，起驾回宫了，公孙贺这才不得已当了丞相。
出宫时，左右侍从问他为什么不肯当丞相？公孙贺说：“当今皇帝贤明，贱臣不能称职。从今以后，我的身家性命危险了！”果然，公孙贺一家，后来在“巫蛊”之祸中被灭族。
汉武帝后期唯一免于一死、得以善终的丞相是石庆。石庆任丞相期间，汉朝正南征两越，东出朝鲜，北逐匈奴，西伐大宛，汉武帝还大兴礼乐，巡狩封禅，治国大事都没有人向石庆汇报。形同虚设的石庆丞相哪敢计较，只是俯首听命而保全自己性命。
元封四年（前107 年），关东出现大批的流民涌进长安，众官商议如何解决。汉武帝认为石庆年老而又胆小怕事，特令丞相告归。如此重大的国事，竟不让石庆参与，石庆深感惭愧，上书自责说：“臣已年老，不能理事，愿交出丞相印绶，告老还乡，为贤士让路。”
“现在流民进京，事多繁杂，你想想，这个时候你能安心还乡吗？”
石庆任丞相，唯有谨慎过人，别无方略，从来不管事，汉武帝也不准他管。可一旦他表示辞职不干，皇帝却不准，他只好又老老实实地待下来。
汉武帝见他又老实了，便原谅了他。
汉武帝通过削弱相权，巩固了自己大权独揽的神圣地位。改变了汉室政权原来屈君伸臣、君弱臣强的权力结构，从而使得他摆脱了相权对自己的抑制，完成了他走向皇权专制统治的重要一步。