论广阳忠款，兼陈停军之状。灵后意稍解，遂舍之。寻加别将。二年，梁将曹义宗据守穰城，数为边患。乃令谨与行台尚书辛纂率兵讨之。
相持累年，经数十战。进拜都督、宣威将军、冗从仆射。孝庄帝即位，除镇远将军，寻转直寝。又随太宰元天穆讨葛荣，平邢杲，拜征虏将军。从尔朱天光破万俟丑奴，封石城县伯，邑五百户。普泰元年，除征北大将军、金紫光禄大夫、散骑常侍。又随天光平宿勤明达，别讨夏州贼贺遂有伐等，平之，授大都督。从天光与齐神武战于韩陵山，天光既败，谨遂入关。贺拔岳表谨留镇，除卫将军、咸阳郡守。
太祖临夏州，以谨为防城大都督，兼夏州长史。及岳被害，太祖赴平凉。谨乃言于太祖曰：「魏祚陵迟，权臣擅命，群盗蜂起，黔首嗷然。明公仗超世之姿，怀济时之略，四方远近，咸所归心。愿早建良图，以副众望。」太祖曰：「何以言之？」谨对曰：「关右，秦汉旧都，古称天府，将士骁勇，厥壤膏腴，西有巴蜀之饶，北有羊马之利。今若据其要害，招集英雄，养卒劝农，足观时变。且天子在洛，逼迫群凶，若陈明公之恳诚，算时事之利害，请都关右，帝必嘉而西迁。然后挟天子而令诸侯，奉王命以讨暴乱，桓、文之业，千载一时也。」太祖大悦。会有敕追谨为（关）〔合〕内大都督，谨因进都关中之策，魏帝纳之。
寻而齐神武逼洛阳，谨从魏帝西迁。仍从太祖征潼关，破回洛城，授使持节、车骑大将军、仪同三司、北雍州刺史，进爵蓝田县公，邑一千户。大统元年，拜骠骑大将军、开府仪同三司。其年，夏阳人王游浪聚据杨氏壁谋逆，谨讨擒之。是岁，大军东伐，谨为前锋。至盘豆，东魏将高叔礼守险不下，攻破之。拔虏其卒（又）〔一千〕。因此拔弘农，擒东魏陕州刺史李（征）〔徽〕伯。齐神武至沙苑，谨从太祖与诸将力战，破之，进爵常山郡公，增邑一千户。又从战河桥。拜大丞相府长史，兼大行台尚书。稽胡帅夏州刺史刘平叛，谨率众讨平之。除大都督、恒并燕肆云五州诸军事、大将军、恒州刺史。入为太子太师。九年，复从太祖东征，别攻柏谷坞，拔之。邙山之战，大军不利，谨率其麾下伪降，立于路左。齐神武军乘胜逐北，不以为虞。追骑过尽，谨乃自后击之，敌人大骇。独孤信又集兵士于后奋击，齐神武军遂乱，以此大军得全。十二年，拜尚书左仆射，领司农卿。及侯景款附，请兵为援，太祖命李弼率兵应之。谨谏曰：「侯景少习兵权，情实难测。且宜厚其礼秩，以观其变。即欲遣兵，良用未可。」太祖不听。寻复兼大行台尚书、丞相府长史，率兵镇潼关，加授华州刺史，赠秬鬯一卣，圭瓒副焉。俄拜司空，增邑四百户。十五年，进位柱国大将军。齐氏称帝，太祖征之，以谨为后军大都督。别封一子盐亭县侯，邑一千户。魏恭帝元年，除雍州刺史。
初，梁元帝平侯景之后，于江陵嗣位，密与齐氏通使，将谋侵轶。其兄子岳阳王察时为雍州刺史，以梁元帝杀〔其〕兄誉，遂结雠隙。据襄阳来附，仍请王师。乃令谨率众出讨。太祖饯于青泥谷。长孙俭问谨曰：「为萧绎之计，将欲如何？」谨曰：「耀兵汉、沔，席卷渡江，直据丹阳，是其上策；移郭内居民，退保子城，峻其陴堞，以待援至，是其中策；若难于移动，据守罗郭，是其下策。」俭曰：「揣绎定出何策？」谨曰：「必用下策。」俭曰：「彼弃上而用下，何也？」对曰：「萧氏保据江南，绵历数纪。属中原多故，未遑外略。又以我有齐氏之患，必谓力不能分。且绎懦而无谋，多疑少断。愚民难与虑始，皆恋邑居，既恶迁移，当保罗郭。所以用下策也。」谨乃令中山公护及大将军杨忠等，率精骑先据江津，断其走路。梁人竖木栅于外城，广轮六十里。寻而谨至，悉众围之。梁主屡遣兵于城南出战，辄为谨所破。旬有六日，外城遂陷。梁主退保子城。翌日，率其太子以下，面缚出降，寻杀之。虏其男女十余万人，收其府库珍宝。得宋浑天仪、梁日晷铜表、魏相风乌、铜蟠螭（跌）〔趺〕、大玉径四尺围七尺、及诸轝辇法物以献，军无私焉。立萧察为梁主，振旅而旋。太祖亲至其第，宴语极欢。赏谨奴婢一千口，及梁之宝物，并金石丝竹乐一部，别封新野郡公，邑二千户。谨固辞，太祖不许。又令司乐作常山公平梁歌十首，使工人歌之。
谨自以久当权势，位望隆重，功名既立，愿保优闲。乃上先所乘骏马及所着铠甲等。太祖识其意，乃曰：「今巨猾未平，公岂得便尔独善。」遂不受。六官建，拜大司徒。
及太祖崩，孝闵帝尚幼，中山公护虽受顾命，而名位素下，群公各图执政，莫相率服。护深忧之，密访于谨。谨曰：「夙蒙丞相殊睠，情深骨肉。今日之事，必以死争之。若对众定策，公必不得辞让。」明日，群公会议。谨曰：「昔帝室倾危，人图问鼎。丞相志在匡救，投袂荷戈，故得国祚中兴，群生遂性。今上天降祸，奄弃庶寮。嗣子虽幼，而中山公亲则犹子，兼受顾托，军国之事，理须归之。」辞色抗厉，众皆悚动。护曰：「此是家事，素虽庸昧，何敢有辞。」谨既太祖等夷，护每申礼敬。至是，谨乃趋而言曰：