乐，夔与国子博士何妥各有所持。于是夔、妥各为一议，使百僚署其所同。朝廷多附威，同夔者十八九。妥恚曰：「吾席间函丈四十余年，反为昨暮兒之所屈也！」遂奏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等为朋党，省中呼王弘为世子，李同和为叔，言二人如威子弟。复言威以曲道任其从父弟彻、肃等罔冒为官。又国子学请黎阳人王孝逸为书学博士，威属卢恺，以为其府参军。上令蜀王秀、上柱国虞庆则等杂按之，事皆验。帝以宋书谢晦传中朋党事令威读之。威惧，免冠顿首。帝曰：「谢已晚矣！」于是免威官爵，以开府就第。知名之士，坐威得罪者百余人。未几，帝曰：「苏威德行者，但为人误耳。」命之通籍。
岁余，复爵邳公，拜纳言。从祠太山，坐不敬免。俄而复位。帝谓群臣曰：「世人言苏威诈清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。」仁寿初，复拜尚书右仆射。帝幸仁寿宫，以威总留事。及帝还，御史奏威职事多不理。帝怒，诘责威。威谢，帝亦止。
炀帝嗣位，上将大起长城之役，威谏止之。高颎、贺若弼之诛也，威坐相连免官。岁余，拜鲁郡太守，修羽仪。召拜太常卿。从征吐谷浑，进拜右光禄大夫。岁余，复为纳言，与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为五贵。及征辽东，以本官领右武卫大将军，进位光禄大夫，赐爵房陵侯，寻进封房公。以年老乞骸骨，不许。复以本官参掌选事。明年，从征辽东，领右御卫大将军。
杨玄感之反，帝引威于帐中，惧见于色，谓曰：「此小兒聪明，得不为患邪？」威曰：「粗疏非聪明者，必无虑，但恐浸成乱阶耳。」威见劳役不已，百姓思乱，以此微欲讽帝。帝竟不悟。
从还，至涿郡，诏威安抚关中，以其孙尚辇直长儇副。威子鸿胪少卿夔先为关中简黜大使。一家三人，俱使关右，三辅荣之。岁余，帝手诏曰：「玉以洁润，丹紫莫能渝其质；松表岁寒，霜寻莫能凋其采。可谓温仁劲直，性之然乎。房公威，先后旧臣，朝之宿齿，栋梁社稷，弼谐朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何；周之十乱，佐成王者邵奭。国之宝器，其在得贤。参璟台阶，具瞻斯允。虽事藉论道，终期献替，铨衡时和，朝寄为重。可开府仪同三司，余并如故。」威当时尊重，朝臣莫与为比。
后从幸雁门。为突厥所围，朝廷危惧。帝欲轻骑溃围而出。威谏曰：「城守则我有余力，轻骑则彼之所长。陛下万乘主，何宜轻脱！」帝乃止。突厥俄亦解围去。车驾次太原，威以盗贼不止，劝帝还京师，深根固本，为社稷计。帝初从之，竟用宇文述等议，遂往东都。天下大乱，威知帝不可匡正，甚患之。属帝问盗贼事。宇文述曰：「盗贼信少，不足为虞。」威不能诡对，以身隐殿柱。帝呼问之。威曰：「臣非职司，不知多少，但患其渐近。」帝曰：「何谓也？」威曰：「他日贼据长白山，今者近在荥阳、汜水。」帝不悦而罢。属五月五日，百僚上馈，多以珍玩，威献尚书一部，微以讽帝。帝弥不平。后复问伐辽东事，威对顾赦群盗，遣讨高丽，帝益怒。御史大夫辈蕴希旨，令御史张行本，奏威昔在高阳典选，滥授人官，怯畏突厥，请还京师。帝令案其事，乃下诏曰：「威立性朋党，好异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！」于是除名。后月余，人有奏威与突厥阴图不轨。大理簿责威。威自陈精诚不能上感，瑕爨屡彰，罪当万死。帝悯而释之。其年，从幸江都宫。帝将复用威，裴蕴、虞世基奏言昏耄赢疾，帝乃止。
宇文化及弑逆，以威为光禄大夫、开府仪同三司。化及败，归于李密。密败，归东都，越王侗以为上柱国、邳公。王世充僭号，署太师。威自以隋室旧臣，遭逢丧乱，所经之处，皆与时消息，以求容免。
及太宗平世充，坐于东都阊阖门内，威请谒见，称老病不能拜起。上遣人数之曰：「公隋朝宰辅，政乱不能匡救，遂令品物涂炭，君弑国亡。见李密、世充皆拜伏舞蹈。今既老病，无劳相见。」寻入长安，至朝堂请见，高祖又不许。终于家，时年八十二。
威行己清俭，以廉慎见称。然每至公议，恶人异已，虽或小事，必固争之。时人以为无大臣之体。所修格令章程，并行于当世，颇伤烦碎，论者以为非简久之法。及大业末年，尤多征役，至于论功行赏，威每承望风旨，辄寝其事。时群盗蜂起，郡县有奏闻者，又诃诘使人，令减贼数，故出师攻讨，多不克捷。由是遂致败乱，为物议所讥。子夔。
夔字伯尼。聪敏有口辩，然性轻险无行。八岁诵诗，兼解骑射。年十三，从父至尚书省。与安德王雄射，赌得骏马而归。十四诣学，与诸儒议论，词致可观。见者皆称善。及长，博览群言，尤以锺律自命。初名哲，字知人，父威由是改之，颇为有识所哂，起家太子通事舍人。杨素见而奇