汉武帝晚年思过，思想经常处于忏悔的状态中。后元二年（前87年）春正月，汉武帝在甘泉宫接受诸侯王的朝见。二月，巡游五柞宫。
五柞宫周围山清水秀，景色宜人。汉武帝心绪苦闷，想借山水之秀以解烦恼。早春二月，春寒料峭。汉武帝连日游览，偶感风寒。不料数日之后，竟然病入膏肓，卧床不起。
汉武帝明白自己可能将不久于人世。于是，经过深思熟虑后，他决定要让只有几岁的刘弗陵担当起承继刘氏大业的重任，并且还精心挑选着日后辅佐少帝的大臣。
当时，朝廷中大臣有田千秋、赵过、桑弘羊三人。汉武帝十分信任田千秋和赵过，委任他们推行自己的富民政策。虽然汉武帝因改过自悔而拒绝了桑弘羊的轮台屯田建议，但桑弘羊仍不失为一位著名的理财专家，因此，汉武帝仍然十分信任他，委以重任。
这三个人都是文官出身，将来定可以帮助少帝继续推行自己的富民政策，以完成自己未竟的事业。但是，汉武帝更渴求武官出身的大臣，以有足够的能力和权威来驾驭政局，稳固朝廷，辅助少帝治理国家。在武官中，汉武帝最亲信的人也有三个：一个是霍光，一个是金日磾，一个是上官桀。
汉武帝认真考察群臣，认为只有霍光可以承担辅保社稷的大事。
霍光是霍去病弟弟，十多岁便入宫为郎，出则奉车，入侍左右，侍奉汉武帝二十多年，小心谨慎，从来都没有过失，深得汉武帝信任。
金日磾字翁叔，原本是匈奴休屠王的太子。元狩二年（前121 年），骠骑将军霍去病率军出击匈奴右翼之地，大获全胜，虏获休屠王祭天金人。这年夏天，霍去病又进军祁连山，节节胜利。
匈奴昆邪王怕单于治罪，杀休屠王，率众降汉。汉武帝封昆邪王为列侯，而金日磾因为父亲不投降而受牵连，与其母阏氏、弟伦等俱没官为奴。当时，金日磾年仅14 岁，就被安排在宫中养马。
有一次，汉武帝乘游宴之兴，到御厩中阅看宫中所饲养的马匹。那些养马的人，都牵着自己所饲养的马，从汉武帝面前走过。唯独金日磾与别人不同，他恭谨守矩，目不敢斜视。汉武帝见他人所饲养的马匹多属平平，只有金日磾所养的马，个个体壮膘肥，油光可鉴。再看这个年轻的养马人，身高8 尺以上，容貌威严庄重。
汉武帝感到很奇异，便询问他的姓名、身世，金日磾一一对答。汉武帝赞许，当即便任命他为马监，赐衣冠，使主管宫中养马之事。后来，汉武帝擢升他为侍中、驸马都尉、光禄大夫，他成为汉武帝的亲信。
汉武帝非常尊重宠爱金日磾，赏赐累千金，出为骖乘，入则侍奉左右。贵戚们见金日磾受到如此恩宠，非常嫉妒。说道：“金日磾只不过是一个降俘过来的，凭什么受到如此的宠贵？”但是，汉武帝却不以为然，甚至对他更加好。
金日磾为人忠诚宽厚，做事恭谨，从不居高自傲。在汉武帝面前从来没有犯过什么错误。金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝下诏在甘泉宫为她画像，题名“休屠王阏氏”。金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。
金日磾的两个儿子都被汉武帝所宠爱，是汉武帝逗乐子的弄儿，他们常在皇上身边。有一次，弄儿从后面围住汉武帝的脖子，金日磾在前面，看见后生气地瞪着他。弄儿一边跑一边哭着说：“爹爹发火了。”
汉武帝对金日磾说：“为什么生我弄儿的气？”
后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的**，于是杀了弄儿。这个弄儿就是他的长子。汉武帝得知后大怒，金日磾叩头告罪，把为什么杀弄儿的情况一一说出。汉武帝很哀伤，为弄儿掉泪，以后从内心尊敬金日磾。
巫蛊之祸前，马何罗与江充交好，马何罗的弟弟马通更因诛杀太子时奋力作战而得到封爵。征和二年（前91 年），汉武帝得知太子冤屈，就把江充宗族和朋党全部诛杀。马何罗兄弟害怕被杀，于是策谋造反。
金日磾发现他们神情异样，心里怀疑他们，暗中注意他们的动静，与他们一同上殿下殿。马何罗觉察到金日磾的用意，因此，很久没有机会动手。这时汉武帝驾临林光宫，金日磾有小病在殿内休息。马何罗与马通以及小弟马安成假传圣旨深夜外出，一起杀了使者，发兵起事。
第二天早上，汉武帝还没有起床，马何罗便从外面冲了进来。这时，金日磾正在上厕所，心里一动，马上进入汉武帝卧室，躲在内门后。一会儿，马何罗袖藏利刃，从东厢而上，看见金日磾，神情大变，跑向汉武帝的卧室，不料撞到宝瑟，摔倒在地。金日磾得以抱住马何罗，随即高声呼喊：“马何罗造反！”
汉武帝从**惊起。侍卫拔刀想杀马何罗，汉武帝恐怕伤到金日磾，阻止他们不要用刀杀。金日磾揪住马何罗的脖子，把他摔到殿下，侍卫才把他捉住捆绑起来，对其彻底审讯，最后他们都伏法受诛。金日磾因此以忠诚笃敬、孝行节操而闻名。
上官桀是陇西上邦人，他年轻的时候做过羽林期门郎。有一次，他跟随汉武帝去甘泉宫，赶上大风，车不能前进，就解下车盖让上官桀拿着。上官桀捧着车盖，虽然风很大却并没有被车落下，不久下起了雨，他就用车盖替汉武帝挡雨。
汉武帝对他的勇力很是欣赏，就升他做了未央厩令。汉武帝曾经身体不太舒服，等到病好之后，去看马，发现马大多瘦了。于是，汉武帝大怒，说：“你认为我再也见不着这些马了吗？”要治他的罪。
这时，上官桀叩头说：“我听说皇上身体不适，就日日夜夜为您担心，哪里还顾得上看马呀？”话还没有说完，眼泪就一串串地落了下来。
汉武帝认为他对自己很忠心，因此十分亲信他，让他做了侍中，逐渐升为太仆。
这三个人当中，汉武帝对霍光尤为器重。于是他就打算以霍光为主要辅佐刘弗陵的人物，但他没把心里的打算说出来，而是命黄门画了一幅周公背成王朝诸侯图赐给霍光。
二月的一天，霍光、金日磾等一行人跪伏在汉武帝的床前问安。霍光看到皇上危在旦夕，可能将不久于人世，而储君至今还没有立，怕汉武帝突然驾崩，祸危社稷，便趁汉武帝清醒时，跪在榻前泣问道：“陛下一旦不讳，应该由谁来继承大位呢？”
汉武帝说：“前日所赐周公负成王朝见诸侯图，难道你还没有理解它的含义吗？立少子弗陵，由你行周公之事！”
霍光叩头谢辞道：“臣不如金日磾！”金日磾也在旁边，急忙叩头推辞，诚恳地说道：“臣德才远不如霍光，况且臣是外国人，若使辅弼幼主，必会使匈奴轻视我大汉！”
汉武帝说道：“你们两人素来都忠心耿耿，朕久已深知，都不必推辞，朕自有安排。”霍光、金日磾见汉武帝再不说话，只好叩头退出。
二月十二日，汉武帝颁布诏书，立8 岁的皇子弗陵为皇太子。
二月十三日，汉武帝命霍光为大司马、大将军，金日磾为车骑将军，上官桀为左将军，桑弘羊为御史大夫，田千秋仍为丞相。宣五人入内。
五位顾命大臣齐跪在汉武帝榻前，叩头拜见。
汉武帝已命在旦夕，不能多言，只能颔首作答。五位顾命大臣拜受遗诏。遗诏曰：
制诏：朕体不安，已无痊愈之望，即将永诀。望辅弼诸臣，宜谨奉皇太子，尽心竭力。制告皇太子善待百姓，轻赋敛，近圣贤，信谋臣，以身奉行名教和祖宗法制。遵循朕的告诫，才有资格君临天下。要牢记秦二世灭亡的教训，终生不得疏忽。
苍天不可久视，大地不可久履，朕就此诀别。告诫后世子孙，兢兢业业，切勿辜负天地的恩德！
二月十四日，汉武帝驾崩于五柞宫。遗体运回未央宫前殿入殓。
终年70 岁，在位55 年。
二月十五日，皇太子刘弗陵在柩前继皇帝位，是为汉昭帝。霍光、金日磾、上官桀三人共领尚书事，大司马、大将军霍光总揽朝政，国家政令都由他制定。几位大臣同心协力，忠于职守，贯彻汉武帝末年安国富民的大政方针，平稳地完成了政权的交接，为朝野臣民所称颂。
三月二十二日，入殓后的汉武帝，口含蝉玉，身着金缕玉匣，匣上皆镂以蛟龙鸾凤龟麟之像，以辒辌车载柩，黄屋左纛，在极其庞大的送葬队伍的护送下，葬于茂陵。茂陵在群墓的拱卫之下，巍巍耸立，仰视昊天，俯瞰后土。阅尽人间沧桑。一代天骄、叱咤风云的大汉孝武皇帝，长眠于世。