霍光虽然是权臣，专权了几十年，但他的权势没有大到像后来的王莽、司马昭那种可以弑君的程度。并且，霍光只是权臣，他不是奸臣。
自古以来，权臣想要篡权，有一个很硬性的标准，就是要把皇帝彻底的架空。掌握兵权都只是最基本的，掌握兵权之后还要把大臣都笼络到自己的旗下。只有争取到了士大夫阶级的支持（真心实意的支持），权臣才算是有篡位的资格了。
就比如像王莽、司马昭，他们当年废掉皇帝的时候，周围的大臣都是支持他们的。就连后来杀皇帝，也没多少人反对。毕竟大汉和大魏都只是靠惯性才勉强活着的，群臣们心里清楚得很，刘氏和曹氏早就该下台了。
反观霍光呢？他就差远了。汉室未衰，群臣都向汉。只不过因为皇帝还小，需要一个大臣辅政而已。在这起情况下，霍光要是敢篡位，那就是找死。
就拿霍光当年废刘贺为昌邑王来说，当时大臣其实是不支持他的。《汉书·杨敞传》记载：“大将军光与车骑将军张安世谋欲废王更立。议既定，使大司农田延年报敞。敞惊惧，不知所言，汗出洽背，徒唯唯而已。延年起至更衣，敞夫人遽从东箱谓敞曰：‘此国大事，今大将军议已定，使九卿来报君侯。君侯不疾应，与大将军同心，犹与无决，先事诛矣。’延年从更衣还，敞、夫人与延年参语许诺，请奉大将军教令，遂共废昌邑王，立宣帝。”
刘贺
刘贺被废黜之后，很多人都认为霍光的权势增加了。但实际上恰恰相反，霍光因为拿刀逼着大臣支持他，这导致很多官员都对他投了不信任票，当宣帝登基后，相当多的大臣站在了宣帝一边，帮宣帝压制霍光。
所以实际上，霍光因为废刘贺，他的权势上限比之前是要降低了。
比如汉宣帝登基后，刘贺的岳父侍御史严延年就公然向霍光发难，弹劾他废皇帝一事。《汉书·严延年传》记载：“宣帝初即位，延年劾奏光‘擅废立主，无人臣礼，不道’。奏虽寝，然朝廷肃焉敬惮。”
如果这是在王莽、司马昭那个时代，严延年这种行为简直是找死啊！可是在霍光那个时代，他最后却一点事都没有。并且相当多的官员还纷纷对严延年表示了敬佩，冷眼怒瞪霍光。
面对群臣的质疑，霍光也是没办法，只得表示归政于宣帝，以示清白。宣帝对此自然是不敢接受，“上廉让不受，”于是，这件事情才算是稍微平息了一点点。
可以肯定的是，霍光当时拿满朝文武是一点办法都没有。这么一看，霍光这个权臣当的确实窝囊透顶。他别说是跟王莽、曹操、司马昭比了，就算是跟董卓比，他也差了档次。起码董卓还敢罢他叫板的官员。
霍光
不久之后，霍光想跟宣帝拉近关系。可是宣帝利用群臣又整了霍光一次，搞得霍光在众人面前很没面子。这次事件就是立皇后。
霍光想让汉宣帝娶自己女儿，这样可以让他从权臣变成外戚，给皇帝当岳父。但是汉宣帝坚决不同意，最后在群臣的支持下，立了自己的糟糠之妻许平君。
很多人认为许平君能当上皇后，单纯只是因为汉宣帝对许平君爱情专一。但其实这是一种错觉。
因为古代立皇后不是小事，立谁当皇后，背后都有很强的政治意味。比如光武帝刘秀坚持立阴丽华为后，仅仅只是因为爱情吗？恐怕没那么简单吧。郭皇后背后的河北豪族势力那么强大，刘秀要是通过废皇后，进行政治打压，这是不合情理的。
同样的道理，汉宣帝立许平君也一样。霍光想让自己的女儿上位，这是霍光让大臣在这件事情上表态，到底是支持我，还是支持宣帝；宣帝想立许平君为后，这也是宣帝让大臣在这件事情上表态，到底是支持我，还是支持霍光。
最后的结果让霍光非常郁闷。支持许平君的大臣占据了绝对优势，于是许平君就成了宣帝的皇后。满朝文武联合压制霍光，而霍光对此是一点招也没有。
刘询
随着时间的推移，宣帝的年纪越来越大，支持他的大臣也越来越多。而霍光一党，权势也是越来越小。
首先，当年支持他废刘贺的田延年，因贪污被逼死。田延年自尽前，霍光非常想帮田延年洗脱罪名，毕竟他是自己的左膀。但田延年贪污罪名确凿无疑，在这风口浪尖上，霍光终究也不敢只手遮天，包庇田延年。所以，霍光这个权臣当到这个份上，他到底窝不窝囊？
紧接着，当年另一个支持霍光废黜刘贺的张安世看情形不对，也退居二线，不再过问朝中的权力斗争。这等于，霍光的右臂张安世自己把自己打瘸了。
左膀右臂都没了，霍光还剩啥？先不说他有没有篡位的想法，就算他有，此情此景，他也没篡位的资本啊。
许平君
再之后，霍光的媳妇霍显毒死许平君，这个事情霍光从头到尾都不知道。若是他事先知道内幕消息，怕是借他十个胆子，他也是不敢干的。
总的来说，霍光是权臣不假，但他的权势在历代权臣当中，只是比较低的一个档次。由于他废立皇帝玩得太大了，导致大臣们纷纷站在了宣帝身后联合压制他。他不但不能在宣帝一朝继续扩张自己的权势，反而被宣帝逼得步步后退。到了临死前，霍家的权势真心算不上权倾朝野。
所以，霍光更像是加强版的周勃、陈平。为了自己的利益，他可以干一些出格的事情。比如废刘贺，比如隐瞒霍显毒杀皇后的秘密。但是若是要让他去篡位，他还是不敢的。
