“巫蛊之祸”给了汉武帝很大的打击，之后，他身体越来越弱，后元二年二月乙丑日（前87年3月27日），汉武帝在他弥留之际立刘弗陵为太子。第二日，汉武帝任命奉车都尉霍光为大司马、大将军，加封金日磾为车骑将军，加封太仆上官桀为左将军，加封搜粟都尉桑弘羊为御史大夫，让这四位大臣接受遗诏，共同辅佐少主刘弗陵。从此接受遗诏辅政。丁卯日（前87年3月29日），汉武帝驾崩于五柞宫，享年七十岁。丁卯日（前87年3月29日），汉武帝驾崩于五柞宫，享年七十岁。戊辰日（前87年3月30日），刘弗陵继位，即汉昭帝，霍光、金日磾、上官桀、桑弘羊四人成了新朝的辅政大臣。
那么，后来，在这四位托孤四位大臣，为何只有霍光走上了权力的巅峰？
首先，在汉武帝驾崩后，汉昭帝即位，在霍光、金日磾、上官桀、桑弘羊四位辅政大臣中，霍光一开始就排在四位辅政大臣中的第一位，而且，在四位辅政大臣中，霍光是大司马、大将军，显然其官位和权力在其他三位大臣之上，属于是领班大臣。新朝一开始，霍光便占据了很有利的位置，这让他主持朝政，这在掌控权力方面就占了上风。
其次，霍光在汉武帝时期就得到了汉武帝的宠信。这可能有几个原因，一是汉武帝对霍光的同父异母哥哥霍去病很痛爱、很信任，并为霍去病的英年早逝感到很痛心，这也有助于让汉武帝更信任和喜欢霍光。二是霍光长得很帅气，他身材魁梧、皮肤白皙、眉目疏朗，还有俊美的胡子，而且，他忠诚勤奋，做事很细致。在汉武帝的关照下，霍光升迁很快，他初期因门荫，被选为郎官，后历任侍中、奉车都尉、光禄大夫，汉武帝临终时又升为大司马、大将军。汉武帝对霍光的重视对汉昭帝是有影响的，这使霍光在新朝能得到了刘弗陵的信任。
霍光
再次，汉昭帝从即位开始，霍光就得到了汉昭帝的全面信任，这有些部分原因是因为刘弗陵才八岁，刚刚登基，他年少，没有政治经验，必须依靠以霍光为首的辅政大臣的全力辅佐，所以，对霍光特别尊重、信任和依仗；还有部分原因是霍光能力强，办事仔细，在朝中也有相当的威望，而且在昭帝登基之初是很忠诚的。此外，还有一个原因让汉昭帝非常信任霍光，那就是，在刘弗陵被立为太子之前一阵子，当武帝有意传位于刘弗陵时，便命内廷画师绘制“周公辅成王”图画，赐给奉车都尉霍光，向暗示群臣武帝欲立他的小儿子刘弗陵为太子。武帝对霍光的这种信任当然在年轻的刘弗陵心里留下了对霍光是可以信赖的忠臣的深刻印象，所以，霍光一直受汉昭帝的信任，这让霍光有机会独揽朝中大权。
此外，从始元六年（前81年）开始，上官桀、桑弘羊这两位辅政大臣因为与霍光的政见不同，且有个人恩怨，加上朝中的权力之争，便与燕王刘旦联手，筹谋政变，他们联手刘弗陵的姐姐长公主，以霍光放回被匈奴扣留十九年之久苏武为理由，污蔑霍光欲借取匈奴兵力掌兵权，想在临朝时先把霍光拿下，再废了昭帝刘弗陵，改立燕王刘旦为帝。当此计被年轻的刘弗陵识破之后，上官桀、桑弘羊与刘旦等准备武力政变，但其政变阴谋被长公主的一个下属官员觉察了，向昭帝报告，致使政变失败。上官桀、桑弘羊等主谋大臣全被逮捕，家族被诛灭，而长公主、燕王刘旦先后自杀身亡。如此一来，霍光不但清除了朝中的竞争对手，而且也使汉昭帝对他更信任，从而使他能牢牢地掌控朝政大权。
还有，元平元年四月十七癸未日（前74年6月5日），刘弗陵因病崩于长安未央宫，年仅二十一岁。六月初七壬申日（前74年7月24日），葬于平陵，谥号为孝昭皇帝。汉昭帝没有儿子，霍光迎立汉武帝孙昌邑王刘贺即位，可是，在刘贺继位二十七日之后，因为刘贺淫乱无道、违反汉制、擅用皇权等，霍光报请上官太后，将刘贺废除了。之后，霍光与群臣商议，从民间迎接武帝曾孙刘病已（后改名刘询）继承为帝，是为汉宣帝。霍光在汉宣帝即位初，曾表示要归政于汉宣帝，但刘询没有接受，于是，朝廷对于大事的决策，皆先报霍光审核，而后再禀报皇帝。后来，霍光的女儿霍成君被立为皇后。
刘询
汉昭帝的早逝，使霍光成了朝中的显赫权臣，使他有机会成为秦统一以来第一个废了皇帝的权臣，他立了刘贺为帝，之后又废了他，令立刘病已为帝，这又是立帝又是废帝，之后再立帝的政治举动，使霍光权倾朝野，登上了权力的高峰。
最后，刘询即位之初，朝政几乎全部掌握在霍光手里，霍光把持朝权，生杀予夺。霍氏一族在朝中掌控着重要的位置，比如，霍光的儿子霍禹以及霍光哥哥的孙子霍云都是中郎将；霍云的弟弟霍山任奉车都尉、侍中，掌握胡、越兵权；霍光的两个女婿分别是长乐、未央宫的卫尉，掌管整个皇宫的警卫，此外，霍光兄弟的女婿及外孙分别担任诸曹大夫、骑都尉、给事中等职，都有资格参加朝会。霍氏家族堂亲外戚连成一体，盘据着朝廷，形成了一张权力之网。在这样的权力结构中，霍光当然登上了权力高峰。
可是，在霍光去世才三年，汉宣帝便清除了在西汉朝廷中盘踞了十几年的霍家势力，确立了其绝对统治地位，霍氏一族被诛灭了。这或许就是霍光专权擅政为他的家族带来的祸害，或许是汉宣帝对霍氏一族专权擅政的报复。
