，寻与元天穆破邢杲于济南。累迁第三镇人酋长，常在荣帐内。荣尝问左右曰：「一日无我，谁可主军？」皆称尔朱兆。曰：「此正可统三千骑以还，堪代我主众者，唯贺六浑耳。」因诫兆曰：「尔非其匹，终当为其穿鼻。」乃以神武为晋州刺史。于是大聚敛，因刘贵货荣下要人，尽得其意。时州库角无故自鸣，神武异之，无几而孝庄诛荣。
及尔朱兆自晋阳将举兵赴洛，召神武。神武使长史孙腾辞以绛蜀、汾胡欲反，不可委去。兆恨焉。腾复命，神武曰：「兆举兵犯上，此大贼也，吾不能久事之。」自是始有图兆计。及兆入洛，执庄帝以北，神武闻之，大惊。又使孙腾伪贺兆，因密觇孝庄所在，将劫以举义，不果。乃以书喻之，言不宜执天子以受恶名于海内。兆不纳，杀帝，而与尔朱世隆等立长广王晔，改元建明。封神武为平阳郡公。及费也头纥豆陵步藩入秀容，逼晋阳，兆征神武。神武将往，贺拔焉过儿请缓行以弊之。神武乃往往逗遛，辞以河无桥不得渡。步藩军盛，兆败走。初，孝庄之诛尔朱荣，知其党必有逆谋，乃密敕步藩令袭其后。步藩既败兆等，以兵势日盛，兆又请救于神武。神武内图兆，复虑步藩后之难除，乃与兆悉力破之。藩死，深德神武，誓为兄弟。时世隆、度律、彦伯共执朝政，天光据关右，兆据并州，仲远据东郡，各拥兵为暴，天下苦之。
葛荣众流入并、肆者二十余万，为契胡陵暴，皆不聊生，大小二十六反，诛夷者半，犹草窃不止。兆患之，问计于神武。神武曰：「六镇反残，不可尽杀，宜选王素腹心者私使统焉。若有犯者，直罪其帅，则所罪者寡。」兆曰：「善，谁可行也？」贺拔允时在坐，请神武。神武拳殴之，折其一齿，曰：「生平天柱时，奴辈伏处分如鹰犬，今日天下安置在王，而阿鞠泥敢诬下罔上，请杀之。」兆以神武为诚，遂以委焉。神武以兆醉，恐醒后或致疑贰，遂出，宣言受委统州镇兵，可集汾东受令。乃建牙阳曲川，陈部分。有款军门者，绛巾袍，自称梗杨驿子，愿厕左右。访之，则以力闻，常于并州市搭杀人者，乃署为亲信。兵士素恶兆而乐神武，于是莫不皆至。居无何，又使刘贵请兆，以并、肆频岁霜旱，降户掘黄鼠而食之，皆面无谷色，徒污人国土，请令就食山东，待温饱而处分之。兆从其议。其长史慕容绍宗谏曰：「不可，今四方扰扰，人怀异望，况高公雄略，又握大兵，将不可为。」兆曰：「香火重誓，何所虑也。」绍宗曰：「亲兄弟尚尔难信，何论香火！」时兆左右已受神武金，因谮绍宗与神武旧有隙，兆乃禁绍宗而催神武发。神武乃自晋阳出滏口。路逢尔朱荣妻北乡长公主，自洛阳来，马三百匹，尽夺易之。兆闻，乃释绍宗而问焉。绍宗曰：「犹掌握中物也。」于是自追神武。至襄垣，会漳水暴长，桥坏。神武隔水拜曰：「所以借公主马，非有他故，备山东盗耳。王受公主言，自来赐追，今渡河而死不辞，此众便叛。」兆自陈无此意，因轻马渡，与神武坐幕下，陈谢，遂授刀引头，使神武斫己。神武大哭曰：「自天柱薨背，贺六浑更何所仰，愿大家千万岁，以申力用。今旁人构间至此，大家何忍复出此言！」兆投刀于地，遂刑白马而盟，誓为兄弟，留宿夜饮。尉景伏壮士欲执兆，神武啮臂止之曰：「今杀之，其党必奔归聚结。兵饥马瘦，不可相支，若英雄崛起，则为害滋甚。不如且置之。兆虽劲捷，而凶狡无谋，不足图也。」旦日，兆归营，又召神武，神武将上马诣之，孙腾牵衣，乃止。兆隔水肆骂，驰还晋阳。兆心腹念贤领降户家累别为营，神武伪与之善，观其佩刀，因取之以杀其从者，从者尽散。于是士众咸悦，倍愿附从。初，魏真君内学者奏言上党有天子气，云在壶关大王山。太武帝于是南巡以厌当之，累石为三封，斩其北凤凰山，以毁其形。后上党人居晋阳者，号上党坊，神武实居之。及是行，舍大王山六旬而进。将出滏口，倍加约束，纤毫之物，不听侵犯。将过麦地，神武辄步牵马。远近闻之，皆称高仪同将
兵整肃，归心焉。遂前行，屯邺，求粮相州刺史刘诞，诞不供。有军营租米，神武自取之。
魏普泰元年二月，神武自军次信都，高乾、封隆之开门以待，遂据冀州。是月，尔朱度律废元晔而立节闵帝，欲羁縻神武。三月，乃白节闵帝，封神武为渤海王，征使入觐。神武辞。四月癸巳，又加授东道大行台、第一镇人酋长。庞苍鹰自太原来奔，神武以为行台郎，寻以为安州刺史。神武自向山东，养士缮甲，禁侵掠，百姓归心。乃诈为书，言尔朱兆将以六镇人配契胡为部曲，众皆愁怨。又为并州符，征兵讨步落稽。发万人，将遣之，孙腾、尉景为请留五日，如此者再。神武亲送之郊，雪涕执别，人皆号恸，哭声动地。神武乃喻之曰：「与尔俱失乡客，义同一家，不意在上乃尔征召。直向西已当死，后军期又当死，配国人又当死，奈何！」众曰：「唯有反耳！」神武曰：「反是急计，须推一人为主。」众愿奉神武。神武曰：「尔乡里难制，不见葛荣乎？虽百万众，无刑法，终自灰灭。今以吾为主，当与前异，不得欺汉儿，不得犯军令，生死任吾则可，不尔不能为，取笑天下。」众皆顿颡，死生唯命。神武曰若不