帛十余车赐之，又幸其第，擢三子皆朝散大夫，昭仪母复诣其家申请。许敬宗数劝之，无忌厉色折拒。帝后召无忌、遂良及于志宁言后无息，昭仪有子，必欲立之者。无忌已数谏，即曰：“先帝付托遂良，愿陛下访之。”遂良极道不可，帝不听。
后既立，以无忌受赐而不助己，衔之。敬宗揣后指，阴使洛阳人李奉节上无忌变事，与侍中辛茂将临按，傅致反状。帝惊曰：“将妄人构间，殆不其然。”敬宗具言：“反迹已露，陛下不忍，非社稷之福。”帝泣曰：“我家不幸，高阳公主与我同气，往谋反，今舅复尔，使我重愧天下，奈何？”对曰：“房遗爱口乳臭，与女子反，安能就事？无忌奸雄，天下所畏伏，一旦窃发，陛下谁使御之？今即急，恐攘袂一呼，以啸同恶，且为宗庙忧。陛下不见隋室乎？宇文化及父宰相，弟尚主，而身掌禁兵，炀帝处之不疑，然而起为戎首，遂亡隋。愿陛下决之。”帝犹疑，更诏审核。明日，敬宗言无忌反明甚，请逮捕。帝泣曰：“舅果尔，我决不忍杀，后世其谓我何？”敬宗曰：“汉文帝舅薄昭，从代来有功，后坐杀人，帝惜挠法，令朝臣丧服就哭之，昭自杀，良史不以为失。今无忌忘先帝之德，舍陛下至亲，乃欲移社稷、败宗庙，岂特昭比邪？在法夷五族。臣闻当断不断，反受其乱。乘机亟行，缓必生变。无忌与先帝谋取天下，天下伏其智，王莽、司马懿之流。今逆徒自承，何疑而不决？”帝终不质问。遂下诏削官爵封户，以扬州都督一品俸置于黔州，所在发兵护送；流其子秘书监冲等于岭外；从弟渝州刺史知仁贬翼州司马。后数月，又诏司空勣、中书令敬宗、侍中茂将等覆按反狱。敬宗令大理正袁公瑜、御史宋之顺等即黔州暴讯。无忌投缳卒，冲免死，杀族子祥，流族弟思于檀口，大抵期亲皆谪徙。
初，无忌与遂良悉心奉国，以天下安危自任，故永徽之政有贞观风。帝亦宾礼老臣，拱己以听。纲纪设张，此两人维持之也。既二后废立计不合，奸臣阴图，帝暗于听受，卒，以屠覆，自是政归武氏，几至亡国。
上元元年，追复官爵，以孙元翼袭封。初，无忌自作墓昭陵茔中，至是许还葬。文宗开成三年，诏曰：“每览国史至太尉无忌事，未尝不废卷而叹。其以裔孙钧为猗氏令。”
无忌从父敞，字休明。隋炀帝为晋王，敞以库直从畋骊山，王凌危逐鹿，谏曰：“大王冒垂堂，淫原兽，可乎？”王遂止。即位，颇见识擢。及幸江都，留守禁御。高祖入关，率子弟谒新丰，授将作少监，出为杞州刺史。贞观初，坐受赇免。太宗以后属，岁私给禀，偿其费。累封平原郡公。卒赠幽州都督，谥曰良，陪葬昭陵。
从父弟操，字元节。父览，为周大司徒、薛国公。操有学术。初，高祖辟署相国府金曹参军。未几，检校虞州刺史。从秦王征讨，常侍旁，与闻秘谋。徙陕州，城中无井，人勤于汲，操为酾河溜入城，百姓利安。以母丧解，长老守阙颂遗爱。服除，封乐寿县男。为齐、扬、益三州刺史，课皆最，下诏褒扬。永徽初，以陕州刺史卒，赠吏部尚书，谥曰安，葬给鼓吹，至虞罢。
子诠，尚新城公主。诠女兄为韩瑗妻。无忌得罪，诠流巂州，有司希旨杀之。诠有甥赵持满者，工书，善骑射，力搏虎，走逐马，而仁厚下士，京师无贵贱爱慕之。为凉州长史，尝逐野马，射之，矢洞于前，边人畏伏。诠之贬，许敬宗惧持满才能仇己，追至京，属吏讯搒，色不变，曰：“身可杀，辞不可枉！”吏代为占，死狱中。
无忌族叔顺德。顺德仕隋为右勋卫，征辽当行，亡命太原，素为高祖亲厚。太宗将起兵，令与刘弘基募士于外，声备贼，至数万人，乃结队按屯。大将军府建，授统军，从平霍邑、临汾、绛郡有功。与刘文静击屈突通于潼关，通将奔洛阳，顺德跳追桃林，执通以献，遂定陕县。以多进左骁卫大将军，封薛国公。讨建成余党，食千二百户，赐宫女，诏宿内省。俄以受赇为有司劾发，帝曰：“顺德元勋外戚，爵隆位厚至矣。若令观古今自鉴，有以益国家者，朕当与共府库，何至以贪冒闻乎？”因赐帛数十愧切之。大理少卿胡演曰：“顺德以赂破法，不可赦，奈何又赐之？”帝曰：“使有耻者，得赐甚于戮；如不能，乃禽兽也，杀之何益？”
李孝常谋反，坐与交，削籍为民。岁余，帝阅功臣图，见其像，怜之，遣宇文士及视顺德，顺德方颓然醉，遂召为泽州刺史，复爵邑。顺德素少检，侈放自如，至是折节为政，以严明称。先时守长多通饷问，顺德绳擿无所容，遂为良吏。前刺史张长贵、赵士达占部中腴田数十顷，夺之以给贫单。寻坐累还第。丧息女，感疾甚，帝薄之，谓房玄龄曰：“顺德无刚气，以儿女牵爱至大病，胡足恤？”未几，卒，遣使吊之，赠荆州都督，谥曰襄。贞观十三年，封邳国公。永徽中，加赠开府仪同三司。
褚遂良，字登善，通直散骑常侍亮子。隋大业末，为薛举通事舍人。仁杲平，授秦王府铠曹参军。贞观中，累迁起居郎。博涉文史，工隶楷。太宗尝叹曰：“虞世南死，无与论书者！”魏征白见遂良，帝令侍书。帝方博购王羲之故帖，天下争献，然莫能质真伪。遂良独论所出，无舛