卧内，与语大悦。居月余，威闻禅代之议，遁归田里。高颎请追之，高祖曰：“此不欲预吾事，且置之。”及受禅，征拜太子少保。追赠其父为邳国公，邑三千户，以威袭焉。俄兼纳言、民部尚书。威上表陈让，诏曰：“舟大者任重，马骏者远驰。以公有兼人之才，无辞多务也。”威乃止。
初，威父在西魏，以国用不足，为征税之法，颇称为重。既而叹曰：“今所为者，正如张弓，非平世法也。后之君子，谁能弛乎？”威闻其言，每以为己任。至是，奏减赋役，务从轻典，上悉从之。渐见亲重，与高颎参掌朝政。威见宫中以银为幔钩，因盛陈节俭之美以谕上。上为之改容，雕饰旧物，悉命除毁。上尝怒一人，将杀之，威入閤进谏，不纳。上怒甚，将自出斩之，威当上前不去。上避之而出，威又遮止。上拂衣而入。良久，乃召威谢曰：“公能若是，吾无忧矣。”于是赐马二匹，钱十余万。寻复兼大理卿、京兆尹、御史大夫，本官悉如故。
治书侍御史梁毗以威领五职，安繁恋剧，无举贤自代之心，抗表劾威。上曰：“苏威朝夕孜孜，志存远大，举贤有阙，何遽迫之！”顾谓威曰：“用之则行，舍之则藏，唯我与尔有是夫！”因谓朝臣曰：“苏威不值我，无以措其言；我不得苏威，何以行其道？杨素才辩无双，至若斟酌古今，助我宣化，非威之匹也。苏威若逢乱世，南山四皓，岂易屈哉！”其见重如此。
未几，拜刑部尚书，解少保、御史大夫之官。后京兆尹废，检校雍州别驾。时高颎与威同心协赞，政刑大小，无不筹之，故革运数年，天下称治。俄转民部尚书，纳言如故。属山东诸州民饥，上令威赈恤之。后二载，迁吏部尚书。岁余，兼领国子祭酒。隋承战争之后，宪章踳驳，上令朝臣厘改旧法，为一代通典。律令格式，多威所定，世以为能。九年，拜尚书右仆射。其年，以母忧去职，柴毁骨立。上敕威曰：“公德行高人，情寄殊重，大孝之道，盖同俯就。必须抑割，为国惜身。朕之于公，为君为父，宜依朕旨，以礼自存。”未几，起令视事，固辞，优诏不许。明年，上幸并州，命与高颎同总留事。俄追诣行在所，使决民讼。
威子夔，少有盛名于天下，引致宾客，四海士大夫多归之。后议乐事，夔与国子博士何妥各有所持。于是夔、妥俱为一议，使百僚署其所同。朝廷多附威，同夔者十八九。妥恚曰：“吾席间函丈四十余年，反为昨暮兒之所屈也！”遂奏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等共为朋党，省中呼王弘为世子，李同和为叔，言二人如威之子弟也。复言威以曲道任其从父弟彻、肃等罔冒为官。又国子学请荡阴人王孝逸为书学博士，威属卢恺，以为其府参军。上令蜀王秀、上柱国虞庆则等杂治之，事皆验。上以《宋书·谢晦传》中朋党事令威读之。威惶惧，免冠顿首。上曰：“谢已晚矣。”于是免威官爵，以开府就第。知名之士坐威得罪者百余人。未几，上曰：“苏威德行者，但为人所误耳。”命之通籍。岁余，复爵邳公，拜纳言。从祠太山，坐不敬免。俄而复位。上谓群臣曰：“世人言苏威诈清，家累金玉，此妄言也。然其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。”寻令持节巡抚江南，得以便宜从事。过会稽，逾五岭而还。时突厥都蓝可汗屡为边患，复使威至可汗所，与结和亲。可汗即遣使献方物。以勤劳，进位大将军。仁寿初，复拜尚书右仆射。上幸仁寿宫，以威总留后事。及上还，御史奏威职事多不理，请推之。上怒，诘责威。威拜谢，上亦止。后上幸仁寿宫，不豫，皇太子自京师来侍疾，诏威留守京师。
炀帝嗣位，加上大将军。及长城之役，威谏止之。高颎、贺若弼等之诛也，威坐与相连，免官。岁余，拜鲁郡太守。俄召还，参预朝政。未几，拜太常卿。其年从征吐谷浑，进位左光禄大夫。帝以威先朝旧臣，渐加委任。后岁余，复为纳言。与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为“五贵”。及辽东之役，以本官领左武卫大将军，进位光禄大夫，赐爵宁陵侯。其年，进封房公。威以年老，上表乞骸骨。上不许，复以本官参掌选事。明年，从征辽东，领右御卫大将军。
杨玄感之反也，帝引威帐中，惧见于色，谓威曰：“此小兒聪明，得不为患乎？”威曰：“夫识是非，审成败者，乃所谓聪明。玄感粗疏，非聪明者，必无所虑。但恐浸成乱阶耳。”威见劳役不息，百姓思乱，微以此讽帝，帝竟不寤。从还至涿郡，诏威安抚关中。以威孙尚辇直长儇为副。其子鸿胪少卿夔，先为关中简黜大使，一家三人，俱奉使关右，三辅荣之。岁余，帝下手诏曰：“玉以洁润，丹紫莫能渝其质；松表岁寒，霜雪莫能凋其采。可谓温仁劲直，性之然乎！房公威器怀温裕，识量弘雅，早居端揆，备悉国章，先皇旧臣，朝之宿齿。栋梁社稷，弼谐朕躬，守文奉法，卑身率礼。昔汉之三杰，辅惠帝者萧何；周之十乱，佐成王者邵奭。国之宝器，其在得贤，参燮台阶，具瞻斯允。虽复事藉论道，终期献替，铨衡时务，朝寄为重，可开府仪同三司，余并如故。”威当时见尊