从霍去病时期建立的一个巨大家族的灭亡
“然光不学亡术，暗于大理，阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！”
——《汉书·霍光金日磾传》
当然，有人要说，霍家被灭族，跟许平君之死没有什么关系，是因为他们谋反失败。其实，班固对于霍家宗族尽灭，也认为是因为“阴妻邪谋”，阴妻是指霍显，邪谋是指什么呢？我也不发表个人看法了，还是从官方的史书中找吧，看看霍家为什么要谋反？
“显曰：“丞相数言我家，独无罪乎？”山曰：“丞相廉正，安得罪？我家昆弟诸婿多不谨。【又闻民间喧言霍氏素杀许皇后，宁有是邪？”显恐急，即具以实告山、云、禹。山、云、禹惊曰：“如是，何不早告禹等！县官离散斥逐诸婿，用是故也。此大事，诛罚不小，奈何？”于是始有邪谋矣】。”
可见，邪谋就是指霍家造反，而霍家造反的原因，是因为霍显杀了许后，这一点，霍家子孙跟班固都是这样认为的。
“县官离散斥逐诸婿，用是故也。此大事，诛罚不小，奈何？”于是始有邪谋矣”，从“始有邪谋”，以及许后被霍家所杀的事情泄露出来，宣帝罢免了霍家三候，驱逐离散他的诸位女婿，开始夺权，霍家的反应只是“不省死”，“数相对泣涕”，可见，一开始，他们不知道宣帝为什么要这样对待他们，也根本没有想过要谋反。
“谋令太后为博平君置酒，召丞相、平恩侯以下，使范明友、邓广汉承太后制引斩之，因废天子而立禹。约定未发，云拜为玄菟太守，太中大夫任宣为代郡太守。山又坐写秘书，显为上书献城西第，入马千匹，以赎山罪。书报闻。会事发觉，云、山、明友自杀，显、禹、广汉等捕得。禹要（腰）斩，显及诸女昆弟皆弃市。唯独霍后废处昭台宫。【与霍氏相连坐诛灭者数千家】。”
——《汉书·霍光金日磾传》
关于霍家被连坐的到底是多少家，汉书跟资治通鉴记载各不相同。
《资治通鉴·汉纪十七》
“秋，七月，云、山、明友自杀，显、禹、广汉等捕得；禹要斩，显及诸女昆弟皆弃市；【与霍氏相连坐诛灭者数十家】。太仆杜延年以霍氏旧人，亦坐免官。”
不管是数十家还是数千家，这是宣帝朝最大一起杀戮，宣帝朝谋反的人，是根本没有谁牵连这么多家的。而且，从宣帝对霍光的态度来看，他是很欣赏霍光的。但是，向来恩怨分明的宣帝，容不下跟霍家有牵连的人，比如因为娶了霍家女，因此没有封侯的金赏，金赏还要上书休妻才能免于被牵连，而他的弟弟金安上却因为除霍有功被封侯。
所以，如果不是因为霍家杀了许后，还谋害元帝，霍家下场未必会好，但至少是可以保全有人祭祀香火不绝后的，最多被夺权，但侯爵跟财产肯定会被保留。因为霍光已死，剩下的霍家子孙根本构不成任何威胁，霍家被夺权被贬斥的时候，他们也从没想过谋反，只是觉得自己很委屈，被不公平对待，所以也只是抱怨一下，相对抱头痛哭而已。及至到了霍显承认自己杀了许皇后是事实，他们才大惊，觉得“诛罚不小”，从此有了谋反之心。