唐永徽六年（公元655年），在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图。高宗召太尉长孙无忌、司空李绩、尚书左仆射于志宁以及褚遂良进官商议废后立后之事。褚遂良发了一通议论，给皇帝泼了一瓢冷水。而他的那种不要命的态度——将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血——更使皇帝大为恼火，让士兵把他强行拉了出去。而坐在皇帝后边的武氏则恨不得立刻将他处死。在关键的时候，善于迎合旨意的李绩却说了一句话：“此乃陛下家事，不合问外人。”这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。