威望日益增长，却也触动了朝中部分大臣的利益，有人开始将他视为眼中钉，欲除之而后快。
起初，霍光与同为辅政大臣的金日磾、上官桀之间关系密切，甚至通过联姻形成了利益共同体。金日磾的次子金赏，娶的正是霍光的女儿；而上官桀的儿子上官安，则迎娶了霍光的长女，两人婚后还育有一女上官氏。这种错综复杂的联姻关系，在汉昭帝初期一度维系了辅政集团的稳定。但权力的诱惑终究会打破表面的和谐，矛盾的***源于上官安的一个野心勃勃的计划——让自己年仅六岁的女儿上官氏成为汉昭帝的皇后。
当上官安将这个想法告知霍光时，遭到了霍光的明确反对。霍光认为，汉昭帝与上官氏年纪尚幼，此时册立皇后不合时宜，且过度扶持上官家族势力，可能会破坏辅政集团的平衡。被霍光拒绝后，上官安并未放弃，他转而寻求盖长公主的帮助。盖长公主是汉昭帝的姐姐，在宫中拥有较高的话语权，上官安通过重金贿赂和甜言蜜语，成功说服盖长公主出面斡旋。最终，在盖长公主的支持下，年仅六岁的上官氏被册封为皇后，上官家族的权势一时大增。
为了回报盖长公主的恩情，上官桀父子提出要将盖长公主的情夫丁外人封为列侯，并任命为光禄大夫。按照汉朝的制度，列侯之位需有功勋者方可获得，丁外人无任何功绩，仅凭与盖长公主的私情便想获封，显然不合规矩。霍光再次拒绝了这一请求，他认为此举会破坏朝廷的法度，引发朝臣不满。在此之前，霍光还曾多次驳回上官家族其他亲戚求官的请求，认为他们无才无德，不堪重用。一次次的拒绝，让上官桀父子对霍光心生怨恨，原本的盟友逐渐变成了针锋相对的政敌。
为了扳倒霍光，上官桀父子开始暗中联络对霍光不满的势力，很快便与盖长公主、燕王刘旦以及辅政大臣桑弘羊结成了反对霍光的同盟。燕王刘旦是汉昭帝的兄长，因未能继承皇位一直心怀不满，渴望通过政变夺取政权；桑弘羊则因推行的盐铁官营等政策与霍光的休养生息政策存在分歧，且不满霍光的权力过大，愿意加入同盟。这个同盟经过精心策划，决定趁霍光休假、不在朝中的时机发动攻击。他们假托燕王刘旦的名义，向汉昭帝上书，诬陷霍光在京城附近擅自调动军队，意图谋反，还指责霍光提拔亲信、独断专行，请求汉昭帝下令将霍光逮捕治罪。
此时的汉昭帝年仅十四岁，却展现出了超乎年龄的睿智与冷静。他仔细阅读了上书内容，发现其中漏洞百出——霍光调动军队的时间与燕王上书的时间相隔极短，燕王远在
…。。