更过分的是霍显不甘寂寞与外人私通。霍禹、霍山等人也是广置家宅，整天花天酒地。霍云经常请病假不上朝谒见皇帝，不拜见就算了，他还派一名家奴替他上朝。霍氏家族中的女眷则可以自由出入长信宫中……此时的霍显风光无限，外孙女是太皇太后，女儿是皇后，女婿是皇帝，长乐宫这块禁地简直是她霍家的后花园。

此时，宣帝开始亲理朝政。他首先任命御史大夫魏相为给事中，调整了霍氏亲信的职位，暗中削夺了他们的实权。汉宣帝给了霍禹一个荣誉性的大司马，却收了他右将军的兵权；对于霍光女婿范明友，只让他干光禄勋，却收了他度辽将军的印信；霍光第二个女婿赵平的骑都尉的兵权也给收了。总之，凡是以前被霍家把持的军权全都交给许皇后还有他外婆史家的亲信掌握。

历史总是惊人的相似，似乎每一位皇帝都要经历一次“鸿门宴”。眼看着大权旁落，霍家人开始有了危机感，与其让皇上灭掉自己，不如先下手为强。于是他们计划利用上官太后设宴的机会，将丞相魏相、平恩侯许广汉等召来，再让范明友、邓广汉等人假借太后的旨意将他们处斩，然后废掉皇帝，立霍禹为帝。幸运的是，这个计划还没实施就被人告发了。霍山、霍云、范明友等畏罪自杀，霍显、霍禹、邓广汉等被缉拿入狱。最终，霍禹因谋反罪被腰斩，霍显及霍氏家族的其他成员也被斩首弃市。霍氏家族受到牵连被定罪的人数达千人。