仲远，罪二也。我欲杀尔久矣！」胜曰：「可环作逆，胜父子诛之，其功不小，反以为罪。天柱被戮，以君诛臣，胜宁负王，不负朝廷。今日之事，生死在王。但去贼密迩，内构嫌隙，自古迄今，未有不破亡者。胜不惮死，恐王失策。」兆乃舍之。胜既免，行百余里，方追及度律。齐神武既克相州，兵威渐盛，于是兆及天光、仲远、度律等众十余万阵于韩陵。兆率铁骑陷阵，出齐神武后，将乘其背而击之。度律恶兆之骁悍，惧其陵己，勒兵不进。胜以其携贰，遂以麾下降齐神武。度律军以此先退，遂大败。
太昌初，以胜为领军将军，寻除侍中。孝武帝将图齐神武，以胜弟岳拥众关西，欲广其势援，乃拜都督、荆州刺史、骠骑大将军、开府仪同三司、南道大行台、尚书左仆射。胜多所克捷，沔北荡为丘墟。梁武帝敕其子雍州刺史续曰：「贺拔胜北间骁将，尔宜慎之，勿与争锋。」续遂城守不敢出。寻进位尚书令，进爵琅邪郡公。
及齐神武与孝武帝有隙，诏胜引兵赴洛，至广州，犹豫未进，而帝已入关。胜还军南阳，遣右丞杨休之奉表入关，又令府长史元颖行州事，胜自率所部，将西赴关中。进至浙阳，诏授胜太保、录尚书事。闻齐神武已平潼关，禽毛鸿宾，胜乃还荆州。州人邓诞执元颖，引齐师。时齐神武已遣行台侯景、大都督高敖曹赴之，胜败，中流矢，奔梁。在南三年，梁武帝遇之甚厚。胜乞师北讨齐神武，既不果，乃求还。梁武帝许之，亲饯于南苑。胜自是之后，每执弓矢，见鸟兽南向者，皆不射之，以申怀德之意。既至长安，诣阙谢罪。魏帝握胜手，嘘欷久之，曰：「初平西徙，永嘉南度，汉、晋皆尔。事乃关天，非公之咎也。」乃授太师。从周文帝禽窦泰于小关。攻弘农。下河北，禽郡守孙晏。摧破东魏军于沙苑，奔追至河上。仍与李弼别攻河东，略定汾、绛。河桥之役，胜大破东魏军，周文令胜收其降卒而还。及齐神武率众攻玉壁，胜以前军大都督从周文。见齐武旗鼓，识之，乃募敢勇三千人，配胜以犯其军。胜适与神武遇，连叱而字之曰：「贺六浑，贺拔破胡必杀汝也！」时胜持槊追神武数里，刃垂及之，神武汗流，气殆尽。会胜马为流矢所中，死。比副骑至，神武已逸去。胜叹曰：「今日之事，吾不执弓矢者，天也！」
是岁，胜诸子在东者，皆为神武所害。胜愤恨，因动气疾，大统十年，薨于位。临终，手书与周文曰：「胜万里杖策，归身阙庭，冀望与公扫除逋寇。不幸殒毙，微志不申。若死而有知，犹望魂飞贼庭，以报恩遇耳。」周文览书，流涕久之。胜长于丧乱之中，尤工武艺，走马射飞鸟，十中其五六。周文每云：「诸将对敌，神色皆动，唯贺拔公临阵如平常，真大勇也。」自居重任，始爱坟籍，乃招引文儒，讨论义理。性又通率，重义轻财，身死之日，唯有随身兵仗及书千卷而已。
初，胜至关中，自以年位素重，见周文不拜。寻而自悔，周文亦有望焉。后从宴昆明池，时有双凫游池中，周文授弓矢于胜曰：「不见公射久矣，请以为欢。」胜射之，一发俱中。因拜曰：「使胜得奉神武，以讨不庭，皆如此也。」周文悦，因是恩礼日重，胜亦尽诚推奉焉。赠太宰、录尚书事，谥曰贞献。明帝二年，以胜配飨文帝庙庭。
无子，以弟岳子仲华嗣。位开府仪同三司，袭爵琅邪公。大象末，位江陵总管。胜弟岳。
岳字阿斗泥，少有大志，爱施好士。初为太学生。及长，能左右驰射，骁果绝人。不读兵书，而暗与之合，识者咸异之。与父兄赴援怀朔，贼王卫可环在城西三百余步，岳乘城射之，箭中环臂，贼大骇。后广阳王深以为帐内军主，与兄胜俱镇恆州。州陷，投尔硃荣，荣以为都督。每帐下与计事，多与荣意合。荣与元天穆谋入匡朝廷，问计于岳。岳曰：「夫非常之事，必俟非常之人。将军士马精强，位望隆重，若首举义旗，伐叛匡救，何往不克，何向不摧！古人云：'朝谋不及夕，言发不俟驾。'此之谓矣。」荣与天穆相顾良久，曰：「卿此言，真丈夫之论也。」
未几，孝明帝暴崩，荣疑有故，乃举兵赴洛。配岳甲卒二千为先驱。至河阴，荣既杀朝士，因欲称帝，疑未能决。岳乃从容致谏，荣寻亦自悟，乃尊立孝庄。以定策功，赐爵樊城乡男。从荣破葛荣，平元颢，累迁左光禄大夫、武卫将军。时万俟丑奴僭称大号，关中骚动，荣将遣岳讨之。私谓其兄胜曰：「丑奴足为勍敌，若岳往无功，罪责立至；假令克定，恐谗诉生焉。」乃请尔硃氏一人为元帅，岳副贰之。荣大悦，乃以天光为使持节、大都督、雍州刺史，以岳为左厢大都督，又以征西将军侯莫陈悦为右厢大都督，并为天光之副，以讨之。时赤水蜀贼兵断路，天光众不满二千。及军次潼关，天光有难色，岳乃进破之于渭北，军容大振。
时丑奴自围岐州，遣其大行台尉迟菩萨、仆射万俟行丑同向武功，南度渭水，攻围趋栅。天光遣岳率千骑赴援。菩萨攻栅已克，率步骑二万至渭北。岳以轻骑数十，与菩萨隔水交言。岳称扬国威，菩萨乃自骄，令省事传语。省事恃水，应答不逊。岳怒，举弓射之，应弦而倒