南、山东兵以拒王世充。及密以谋反诛，帝遣使示密反状。勣请收葬，诏从之。勣为密服缞绖，葬讫乃释。
俄为窦建德所陷，质其父，使复守黎阳。三年，自拔来归。从秦王伐东都，战有功。东略地至虎牢，降郑州司兵沈悦。平建德，俘世充，乃振旅还，秦王为上将，勣为下将，皆服金甲，乘戎辂，告捷于庙。盖亦自洺州与裴矩入朝，诏复其官。
又从破刘黑闼、徐圆朗，累迁左监门大将军。圆朗复反，诏勣为河南大总管，讨平之。赵郡王孝恭讨辅公祏也，遣勣以步卒一万度淮，拔寿阳，攻江西贼壁，冯惠亮、陈正通相次溃，公祏平。
太宗即位，拜并州都督，赐实封九百户。贞观三年，为通漠道行军总管，出云中，与突厥战，走之。引兵与李靖合。因曰：“颉利若度碛，保于九姓，果不可得，我若约赍薄之，不战缚虏矣。”靖大喜，以与己合，于是意决。靖率众夜发，勣勒兵从之。颉利欲走碛，勣前屯碛口，不得度，由是酋长率部落五万降于勣。诏拜光禄大夫，行并州大都督府长史。父丧解，夺哀还官，徙封英，治并州十六年，以威肃闻。帝尝曰：“炀帝不择人守边，劳中国筑长城以备虏。今我用勣守并，突厥不敢南，贤长城远矣！”召为兵部尚书，未至，会薛延陀子大度设以八万骑侵李思摩。诏勣为朔方道行军总管，将轻骑六千，击度设青山，斩名王一，俘口五万。以功封一子为县公。
晋王为皇太子，授詹事，兼左卫率，俄同中书门下三品。帝曰：“吾儿方位东宫，公旧长史，以宫事相委，勿以资屈为嫌也。”后帝自将征高丽，以勣为辽东道行军大总管。破盖牟、辽东、白崖等城，从战驻跸山，功多，封一子为郡公。延陀部落乱，诏将二百骑发突厥兵讨之，大战乌德鞬山，破之，降其首领梯真达干，而可汁咄摩支遁入荒谷，碛北遂定。改太常卿，仍同中书门下三品，复为詹事。
勣既忠力，帝谓可托大事。尝暴疾，医曰：“用须灰可治。”帝乃自翦须以和药。及愈，入谢，顿首流血。帝曰：“吾为社稷计，何谢为！”后留宴，顾曰：“朕思属幼孤，无易公者。公昔不遗李密，岂负朕哉？”勣感涕，因啮指流血。俄大醉，帝亲解衣覆之。帝疾，谓太子曰：“尔于勣无恩，今以事出之，我死，宜即授以仆射，彼必致死力矣！”乃授叠州都督。
高宗立，召授检校洛州刺史、洛阳宫留守，进开府仪同三司、同中书门下，参掌机密，遂为尚书左仆射。永徽元年，求解仆射，听之，仍以开府仪同三司知政事。四年，册进司空。始太宗时，勣已画象凌烟阁，至是，帝复命图其形，自序之。又诏得乘小马出入东、西台，卑官日一人迎送。
帝欲立武昭仪为皇后，畏大臣异议，未决。李义府、许敬宗又请废王皇后。帝召勣与长孙无忌、于志宁、褚遂良计之，勣称疾不至。帝曰：“皇后无子。罪莫大于绝嗣，将废之。”遂良等持不可，志宁顾望不对。帝后密访勣，曰：“将立昭仪，而顾命之臣皆以为不可，今止矣！”答曰：“此陛下家事，无须问外人。”帝意遂定，而王后废。诏勣、志宁奉册立武氏。帝东封泰山，为封禅大使。尝坠马伤足，帝以所乘马赐之。
高丽莫离支男生为其弟所逐，遣子乞师。诏勣为辽东道行军大总管，率兵二万讨之。破其国，执高藏、男建等，裂其地州县之。诏勣献俘昭陵，明先帝意，具军容告于庙。进位太子太师，增食千一百户。
总章二年，卒，年八十六。帝曰：“勣奉上忠，事亲孝，历三朝未尝有过，性廉慎，不立产业。今亡，当无赢赀。有司其厚赗恤之。”因泣下。举哀光顺门，七日不视朝。赠太尉、扬州大都督，谥贞武。给秘器，陪葬昭陵。起冢象阴、铁、乌德鞬山，以旌功烈。葬日，帝与皇太子幸未央古城，哭送，百官送古城西北。
初，勣拔黎阳仓，就食者众，高季辅、杜正伦往客焉，及平虎牢，获戴胄，咸引见卧内，推礼之，后皆为名臣，世以勣知人。平洛阳，得单雄信，故人也。表其材武，且言：“若贷死，必有以报，请纳官爵以赎。”不许。乃号恸，割股肉啗之曰：“生死永诀，此肉同归于土！”为收养其子焉。性友爱，其姊病，尝自为粥而燎其须。姊戒止。答曰：“姊多疾，而勣且老，虽欲数进粥，尚几何？”
其用兵多筹算，料敌应变，皆契事机。闻人善，抵掌嗟叹。及战胜，必推功于下。得金帛，尽散之士卒，无私贮。然持法严，故人为之用。临事选将，必訾相其奇厖福艾者遣之。或问故，答曰：“薄命之人，不足与成功名。”既没，士皆为流涕。
自属疾，帝及皇太子赐药即服，家欲呼医巫，不许。诸子固以药进，辄曰：“我山东田夫耳，位三公，年逾八十，非命乎！生死系天，宁就医求活耶？”弟弼，始为晋州刺史。以勣疾，召为司卫卿，使省视。忽语曰：“我似少愈，可置酒相乐。”于是奏乐宴饮，列子孙于下。将罢，谓弼曰：“我即死，欲有言，恐悲哭不得尽，故一诀耳！我见房玄龄、杜如晦、高季辅皆辛苦立门户，亦望诒后，悉为不肖子败之。我子孙今以付汝，汝可慎察，有不厉言行、交非类者，急榜杀以闻，毋令后人笑吾，犹吾笑房