褚遂良死了，韩瑗、来济、柳奭也被贬了，而长孙无忌依然呆在长安城，依然位居太尉高位。难道武则天已经放过了他？不！如果说全世界谁都可以放过，这个长孙无忌是最不可能放过的，此人在贞观、永徽两朝为官三十多年，关系盘根错节，此人不除，日后武则天焉能放开手脚？不是不针对长孙无忌，而是慢慢来，一步一步为他编织一张大网，然后将他一网打尽。在打击长孙无忌的道路上，武则天并不孤独，因为她还有一个得力的盟友，这个人就是随着武则天步步高升的许敬宗。到显庆四年，许敬宗已经升到了中书令，风头压过长孙无忌，他同时得到了皇帝和皇后的信任，而长孙无忌虽然位居太尉高位，然而却饱受皇后的猜忌，同时皇帝李治与他渐行渐远。此消彼长，许敬宗没有理由不针对长孙无忌，曾经在长孙无忌面前遭受的屈辱他要一点点还回去，他要让不可一世的长孙无忌知道，什么叫三十年河东，三十年河西。在武则天的授意下，许敬宗积极行动了起来，他努力地寻找着长孙无忌的破绽，不久，他得到了一个“灵感“。许敬宗的“灵感“来自一次控告。
当时洛阳人李奉节控告太子洗马韦季方与监察御史李巢结党，这一下捅到了皇帝李治的痒处，历来“结党“都是皇帝非常忌讳的事情，这两个人居然在皇帝的眼皮底下结党，必须严查，加以审理。审理工作便落到了中书令许敬宗和兼任侍中的辛茂将头上，许敬宗唱主角，担任主审。为了获得口供，许敬宗严刑逼供，肆意拷打，然而即使如此，也没能敲开韦季方的嘴，他居然自杀了！想死？没那么容易。许敬宗下令抢救，又生生把韦季方给抢救了过来。折腾了半天，依然一无所获，许敬宗有些失望。然而就在此时，许敬宗的“灵感“迸发了：谁说一无所获，眼前这个韦季方不正是最大的收获吗？如果把这个人跟长孙无忌扯上关系，那该是多么惊人的丰收啊。随即许敬宗给李治上了一道奏疏，这道奏疏的内容把李治惊着了。许敬宗的奏疏大体内容是这样的：韦季方与长孙无忌相互勾结，图谋残害宗室和大臣，将权柄抢回手中，然后伺机发动政变。他们的阴谋被我发现，韦季方畏罪自杀，不过又被我救活了。
长孙无忌与韦季方意图谋反，事大了！李治惊讶地说道：“怎么会有这样的事？舅舅被小人离间，对我小的怨恨可能是有的，但是谋反不至于吧！“这时许敬宗回话：“陛下，长孙无忌意图谋反的事，臣已经前前后后仔仔细细查过了，证据非常明显，到现在陛下还不信，恐怕并非社稷之福！“闻听此言，李治哭了：“我家门不幸，亲戚中总有叛逆的。前些年有房遗爱和高阳公主谋反，现在舅舅也要谋反，这让我有何颜面见天下人。如果谋反属实，我该怎么办呢？“看着相关的记录，实在对李治的智商以及人品产生怀疑：他与许敬宗的对话如果是发自肺腑的，那么他的智商有问题；如果是虚张声势的，那么他的人品有问题。总结陈词，他的智商和人品都有问题。仅仅凭许敬宗的捏造，他就相信了自己亲舅舅的“谋反“，并全然忘记如果没有长孙舅舅，他何德何能能登上大唐的皇位。现在他将舅舅的拥立之功一下子忘到脑后，一门心思就掉进了“谋反“两个字眼中了。
其实，他又何尝不知，“谋反“二字实在太宽泛了，以前舅舅用这张网将吴王李恪等人装了进去，现在许敬宗又准备将长孙舅舅装进去，这实在是一张无往不胜的网。此时李治的态度是暧昧的，他其实不相信舅舅谋反，但是他又希望通过这次整肃将舅舅从高位上拉下来。从贞观二十三年到现在，已经有十个年头了，他已经不愿意再生活在舅舅的阴影之下了。即便从显庆元年开始，舅舅已经刻意淡出，然而只要他在朝堂一天，李治就始终感觉有压力，舅舅的身影似乎在一直在提醒着他：小子，你是我扶上来的！我长大了，舅舅，你该走了！显庆四年四月二十二日，距离太宗李世民去世已有整整十年。这一天原本高高在上的太尉长孙无忌被剥夺了太尉的头衔以及封爵采邑，此时他的官职已经变为扬州都督，不过就连这个官职也是虚的，他的真正去处是黔州（重庆市彭水县），在那里他将享受与废太子李承乾一样的政治待遇：软禁，不过好一点的是他的物质待遇一切不变，依然保持正一品高官待遇。
然而，权力对于长孙无忌这样的人来说就是一剂春药，他的人生就靠这剂春药支撑，现在春药却没了，他的人生还靠什么支撑？做出这样的处罚之前，李治没有与舅舅长孙无忌见过面，他的智商不会低到相信舅舅谋反，只是他需要借这个机会把舅舅整倒。皇权面前没有父子，更遑论甥舅。只有到了这个时候，长孙无忌才发现，贞观十七年以来的努力都白费了，十六年，整整十六年，到这一天，全部清零。在将长孙无忌仕途清零之后，许敬宗将清算的矛头再次指向了褚遂良、柳奭、韩瑗、于志宁，这四个人遭遇了再次打压：褚遂良虽然已死，也被追夺官职爵位，从此在阴间，褚遂良也只是一个白丁小鬼；远在振州（海南三亚）的韩瑗以及远在象州（广西象州县）的柳奭一律从官籍中除名，从此你们只是阳间两白丁；至于于志宁，算是手下留情，不从官籍除名，但免去现有官职，从此你是一个还隶属于官籍的白丁。另外长孙无忌的儿子秘书监、驸马长孙冲开除官籍，流放岭南。褚遂良的儿子褚彦甫、褚彦冲流放爱州（越南清化市），然而在流放的道路上惨遭杀害，即使想去爱州，已是奢望。还有比这更惨的结局吗？这个可以有！三个月后，迫害登峰造极。
李治派出御史分别前往象州和振州，在那里有他们要逮捕的对象柳奭和韩瑗。李治下令，将两人戴上木枷，捆上铁链，先行羁押，择机押往长安受审。与此同时，以许敬宗为首的调查组成立，重新审理长孙无忌谋反一案。是要翻案吗？不，是要做成铁案。许敬宗向长孙无忌所在的黔州派出了一路使节，这一路带头的叫袁公瑜，他的任务是逼死长孙无忌。袁公瑜果然不辱使命，在黔州他用严刑拷打将长孙无忌逼上了绝路，长孙无忌这位纵贯武德、贞观、永徽三朝的重臣就这样在拷打之下被逼上了绝路，他的结局是被迫上吊自杀。此时距离永徽四年他诛杀吴王李恪仅仅六年，李恪在天地间种下的诅咒，经过六年的发酵，在这一年生效了。长孙无忌死了，谋反也就坐实了。韩瑗和柳奭也不必再押回长安了，就地处决吧。曾经跟随着外甥女步步高升的柳奭在象州被使节处斩，他在外甥女被废四年后，还是没有躲过武则天的报复。相比之下，韩瑗是幸运的，他没有给武则天羞辱自己的机会，在逮捕他的使节到振州之前，他就已经去世了，总算将头带进了棺材。奉命前往的使节打开了他的棺木，验明正身，回京复命。
随后，长孙无忌、柳奭、韩瑗三家全部财产被没收，近亲全部流放岭南，男子为奴，女子为婢，曾经受尽恩宠，如今屈辱受尽。曾经反对立后的人一一遭到了报复，不过还是漏过了一个人，这个人就是反对武则天升任“宸妃“的来济。来济其实是个有身份的人，他的父亲是隋朝名将来护儿，而他本人也颇有才华，原本他凭借自己的努力已经做到了中书令，只是因为反对武则天升任“宸妃“，从此一落千丈，从中书令先是被贬为台州刺史，后来又被贬为庭州刺史。台州在现在浙江的临海，庭州在新疆吉木萨尔县，武则天折腾人从来都是折腾死人不偿命。
然而，尽管受尽了折腾，来济却非常难得地保持了尊严，他的结局是所有反对立后高官中最为壮烈的，也是最有尊严的。公元662年，在长孙无忌等人屈死三年之后，庭州刺史来济迎来了一场战斗，前来犯边的敌人是西突厥人。临上阵前，五十三岁的来济对下属说：“我曾经冒犯皇后，早该有一死，而我却侥幸活到现在，今天当牺牲我命，报效国家！“随后，来济脱掉了铠甲，白衣飘飘地杀向敌营，一番殊死拼杀之后，陨落于乱军之中。天王刘德华曾演过一部电影《见龙卸甲》，讲的是赵子龙最后不穿铠甲杀向敌营的传奇，其实刘德华演的是假的，而来济做的，却是真的。
