赐爵关内侯，转从事中郎，领记室。
高贵乡公欲为变时，大将军掾孙佑等守阊阖门。帝弟安阳侯干闻难欲入，佑谓干曰：“未有入者，可从东掖门。”及干至，帝迟之，干以状白，帝欲族诛佑。勖谏曰：“孙佑不纳安阳，诚宜深责。然事有逆顺，用刑不可以喜怒为轻重。今成倅刑止其身，佑乃族诛，恐义士私议。”乃免佑为庶人。时官骑路遗求为刺客入蜀，勖言于帝曰：“明公以至公宰天下，宜杖正义以伐违贰。而名以刺客除贼，非所谓刑于四海，以德服远也。”帝称善。
及钟会谋反，审问未至，而外人先告之。帝待会素厚，未之信也。勖曰：“会虽受恩，然其性未可许以见得思义，不可不速为之备。”帝即出镇长安，主簿郭奕、参军王深以勖是会从甥，少长舅氏，劝帝斥出之。帝不纳，而使勖陪乘，待之如初。先是，勖启“伐蜀，宜以卫瓘为监军”。及蜀中乱，赖瓘以济。会平，还洛，与裴秀、羊祜共管机密。
时将发使聘吴，并遣当时文士作书与孙皓，帝用勖所作。皓既报命和亲，帝谓勖曰：“君前作书，使吴思顺，胜十万之众也。”帝即晋王位，以勖为侍中，封安阳子，邑千户。武帝受禅，改封济北郡公。勖以羊祜让，乃固辞为侯。拜中书监，加侍中，领著作，与贾充共定律令。
充将镇关右也，勖谓冯紞曰：“贾公远放，吾等失势。太子婚尚未定，若使充女得为妃，则不留而自停矣。”勖与紞伺帝间并称“充女才色绝世，若纳东宫，必能辅佐君子，有《关雎》后妃之德。”遂成婚。当时甚为正直者所疾，而获佞媚之讥焉。久之，进位光禄大夫。既掌乐事，又修律吕，并行于世。初，勖于路逢赵贾人牛铎，识其声。及掌乐，音韵未调，乃曰：“得赵之牛铎则谐矣。”遂下郡国，悉送牛铎，果得谐者。又尝在帝坐进饭，谓在坐人曰：“此是劳薪所炊。”咸未之信。帝遣问膳夫，乃云：“实用故车脚。”举世伏其明识。俄领秘书监，与中书令张华依刘向《别录》，整理记籍。又立书博士，置弟子教习，以钟、胡为法。
咸宁初，与石苞等并为佐命功臣，列于铭飨。及王浚表请伐吴，勖与贾充固谏不可，帝不从，而吴果灭。以专典诏命，论功封子一人为亭侯，邑一千户，赐绢千匹。又封孙显为颍阳亭侯。
及得汲郡冢中古文竹书，诏勖撰次之，以为《中经》，列在秘书。
时议遣王公之国，帝以问勖，勖对曰：“诸王公已为都督，而使之国，则废方任。又分割郡县，人心恋本，必用嗷嗷。国皆置军，官兵还当给国，而阙边守。”帝重使勖思之，勖又陈曰：“如诏准古方伯选才，使军国各随方面为都督，诚如明旨。至于割正封疆。使亲疏不同诚为佳矣。然分裂旧土，犹惧多所摇动，必使人心聪扰，思惟窃宜如前。若于事不得不时有所转封，而不至分割土域，有所损夺者，可随宜节度。其五等体国经远，实不成制度。然但虚名，其于实事，略与旧郡县乡亭无异。若造次改夺，恐不能不以为恨。今方了其大者，以为五等可须后裁度。凡事虽有久而益善者，若临时或有不解，亦不可忽。”帝以勖言为允，多从其意。
时又议省州郡县半吏以赴农功，勖议以为：“省吏不如省官，省官不如省事，省事不如清心。昔萧曹相汉，载其清静，致画一之歌，此清心之本也。汉文垂拱，几致刑措，此省事也。光武并合吏员，县官国邑裁置十一，此省官也。魏太和中，遣王人四出，减天下吏员，正始中亦并合郡县，此省吏也。今必欲求之于本，则宜以省事为先。凡居位者，使务思萧曹之心，以翼佐大化。笃义行，崇敦睦，使昧宠忘本者不得容，而伪行自息，浮华者惧矣。重敬让，尚止足，令贱不妨贵，少不陵长，远不间亲，新不间旧，小不加大，淫不破义，则上下相安，远近相信矣。位不可以进趣得，誉不可以朋党求，则是非不妄而明，官人不惑于听矣。去奇技，抑异说，好变旧以徼非常之利者必加其诛，则官业有常，人心不迁矣。事留则政稽，政稽则功废。处位者而孜孜不怠，奉职司者而夙夜不懈，则虽在挈瓶而守不假器矣。使信若金石，小失不害大政，忍忿悁以容之。简文案，略细苛，令之所施，必使人易视听，愿之如阳春，畏之如雷震。勿使微文烦挠，为百吏所黩，二三之命，为百姓所餍，则吏竭其诚，下悦上命矣。设官分职，委事责成。君子心竞而不力争，量能受任，思不出位，则官无异业，政典不奸矣。凡此皆愚心谓省事之本也。苟无此愆，虽不省吏，天下必谓之省矣。若欲省官，私谓九寺可并于尚书，兰台宜省付三府。然施行历代，世之所习，是以久抱愚怀而不敢言。至于省事，实以为善。若直作大例，皆减其半，恐文武众官郡国职业，及事之兴废，不得皆同。凡发号施令，典而当则安，傥有驳者，或致壅否。凡职所临履，先精其得失。使忠信之官，明察之长，各裁其中，先条上言之。然后混齐大体，详宜所省，则令下必行，不可摇动。如其不尔，恐适惑人听，比前行所省，皆须臾辄复，或激而滋繁，亦不可不重。”勖论议损益多此类。
太康中诏曰：“勖明哲聪达，经识天序，有佐命之功，兼博洽之才。久典内任，著勋弘茂，询事考言