与长孙无忌一起反对高宗立武曌为皇后的朝臣都受到陷害。褚遂良被贬为潭州（治所在今湖南省长沙市）都督。显庆二年（公元657年），转为桂州（治所在今广西桂林市）都督。不久，又贬为爱州（治所在今越南清化）刺史。第二年，褚遂良死于任所。褚遂良死后两年，许敬宗、李义府又奏称：“长孙无忌的逆谋，都是褚遂良煽动的。”于是高宗再降旨追削褚遂良的官爵，子孙流放爱州。
同时，许敬宗、李义府秉承武后的意旨，再诬奏韩瑗与褚遂良图谋不轨，因桂州是用武之地，所以授褚遂良桂州刺史之职，实际是以之为外援，希图里应外合。于是朝廷再改贬褚遂良为爱州刺史，贬韩瑗为振州（治所在今广东崖县崖城乡）刺史。显庆五年（公元660年），长孙无忌死，许敬宗等人又上奏韩瑗与长孙无忌通同谋反，高宗再派使者前去杀韩瑗，使者赶到振州后，韩瑗已死，开棺验尸之后才返回，并且没收了韩瑗的家产，子孙流放到岭南地区。
长孙无忌对唐朝有大功，并没有谋反，这是天下人所共知的事情，但无罪而被处死，天下人都为他的不幸感到哀痛。上元元年（公元674年），高宗终于对此有所觉察，降旨追复长孙无忌官爵，并令长孙无忌的孙子长孙延主持祭祀长孙氏的祖先。