于河桥。胜以为臣无雠君之义，遂勒所部还都谒帝。大悦，以本官假骠骑大将军、东征都督，率骑一千，会郑先护讨尔朱仲远。为先护所疑，置之营外，人马未得休息。俄而仲远兵至，与战不利，乃降之。复与尔朱氏同谋，立节闵帝。以功拜右卫将军，进车骑大将军、仪同三司、左光禄大夫。
齐神武怀贰，尔朱氏将讨之。度律自洛阳引兵，兆起并州，仲远从滑台，三帅会于邺东。时胜从度律。度律与兆不平。胜以临敌构嫌，取败之道，乃与斛斯椿诣兆营和解之，反为兆所执。度律大惧，遂引军还。兆将斩胜，数之曰：「尔杀可孤，罪一也；天柱薨后，复不与世隆等俱来，而东征仲远，罪二也。我欲杀尔久矣，今复何言？」胜曰：「可孤作逆，为国巨患，胜父子诛之，其功不小，反以为罪，天下未闻。天柱被戮，以君诛臣，胜宁负朝廷？今日之事，生死在王。但去贼密迩，骨肉构隙，自古迄今，未有不破亡者。胜不惮死，恐王失策。」兆乃舍之。胜既得免，行百余里，方追及度律军。齐神武既克相州，兵威渐盛。于是尔朱兆及天光、仲远、度律等众十余万，阵于韩陵。兆率铁骑陷阵，出齐神武之后，将乘其背而击之。度律恶兆之骄悍，惧其陵己，勒兵不肯进。胜以其携贰，遂率麾下降于齐神武。度律军以此先退，遂大败。
太昌初，以胜为领军将军，寻除侍中。孝武帝将图齐神武，以胜弟岳拥众关西，欲广其势援，乃拜胜为都督三荆、二郢、南襄、南雍七州诸军事，进位骠骑大将军、开府仪同三司、荆州刺史，加授南道大行台尚书左仆射。胜攻梁下溠戍，擒其戍主尹道珍等。又使人诱动蛮王文道期，率其种落归款。梁雍州刺史萧续击道期不利，汉南大骇。胜遣大都督独孤信、军司史宁。欧阳酇城。南雍州刺史长孙亮、南荆州刺史李魔怜、大都督王元轨取久山、白洎，都督拔略昶、史仵龙取义城、均口，擒梁将庄思延，获甲卒数千人。攻冯翊、安定、（冯）〔沔〕阳，并平之。胜军于樊、邓之间。梁武敕续曰：「贺拔胜北间骁将，尔宜慎之。」续遂城守不敢出。寻进位中书令，增邑二千户，进爵琅邪郡公。续遣柳仲礼守谷城，胜攻之未拔。属齐神武与帝有隙，诏胜引兵赴洛，至广州，犹豫未进，而帝已西迁。胜还军南阳，遣右丞（杨）〔阳〕休之奉表入关，又令府长史元颍行州事。胜自率所部，将西赴关中，进至淅阳，诏封胜太保、录尚书事。时齐神武已陷潼关，屯军华阴。胜乃还荆州。州民邓诞执元颍，北引侯景。胜至，景逆击之，胜军不利，率麾下数百骑，南奔梁。
在江表三年，梁武帝遇之甚厚。胜常乞师北讨齐神武，既不果，乃求还。梁武帝许之，亲饯于南苑。胜自是之后，每行执弓矢，见鸟兽南向者皆不射之，以申怀德之志也。既至长安，诣阙谢罪。朝廷嘉其还，乃授太师。
后从太祖擒窦泰于小关，加授中军大都督。又从太祖攻弘农。胜自陕津先渡河，东魏将高干遁，胜追获，囚之。下河北，擒郡守孙晏。崔乂。从破东魏军于沙苑，追奔至河上。仍与李弼别攻河东，略定汾、绛。增邑并前五千户。河桥之役，胜大破东魏军。太祖命胜收其降卒而还。及齐神武悉众攻玉壁，胜以前军大都督从太祖追之于汾北。又从战邙山。时太祖见齐神武旗鼓，识之，乃募敢勇三千人，配胜以犯其军。胜适与齐神武相遇，因告之曰：「贺六浑，贺拔破胡必杀汝也。」时募士皆用短兵接战，胜持矛追齐神武数里，刃垂及之。会胜马为流矢所中，死，比副骑至，齐神武已逸去。胜叹曰：「今日之事，吾不执弓矢者，天也！」是岁，胜诸子在东者，皆为齐神武所害。胜愤恨，因动气疾。大统十年，薨于位。临终，手书与太祖曰：「胜万里杖策，归身阙庭，冀望与公扫除逋寇。不幸殒毙，微志不申。愿公内先协和，顺时而动。若死而有知，犹望魂飞贼庭，以报恩遇耳。」太祖览书，流涕久之。
胜长于丧乱之中，尤工武艺，走马射飞鸟，十中其五六。太祖每云：「诸将对敌，神色皆动，唯贺拔公临阵如平常，真大勇也。」自居重位，始爱坟籍。乃招引文儒，讨论义理。性又通率，重义轻财，身死之日，唯有随身兵仗及书千余卷而已。初，胜至关中，自以年位素重，见太祖不拜，寻而自悔，太祖亦有望焉。后从太祖宴于昆明池，时有双凫游于池上，太祖乃授弓矢于胜曰：「不见公射久矣，请以为欢。」胜射之，一发俱中。因拜太祖曰：「使胜得奉神武，以讨不庭，皆如此也。」太祖大悦。自是恩礼日重，胜亦尽诚推奉焉。赠定冀等十州诸军事、定州刺史、太宰、录尚书事，谥曰贞献。明帝二年，以胜配享太祖庙庭。
胜无子，以弟岳子仲华嗣。大统三年，赐爵樊城公。魏废帝时，为通直郎、散骑常侍，迁黄门郎，加车骑大将军、仪同三司，骠骑大将军、开府仪同三司。六官建，拜守庙下大夫。孝闵帝践阼，袭爵琅邪公，除利州刺史。大象末，位至江陵总管。
胜兄弟三人，并以豪侠知名。兄允字阿泥，魏孝武时，位至太尉，封燕郡王，为神武所害。
岳字阿斗泥。少有大志，爱施好士。初为太学生，及长，能左