，纠相州刺史李世哲事，大相挫辱，其家恆以为憾。至是，世哲弟神轨为灵太后深所宠任，直谦之家僮诉良，神轨左右之，入讽尚书，判禁谦之于廷尉。时将赦，神轨乃启灵太后发诏，于狱赐死，时年四十二。朝士莫不哀之。所著文章百余篇，别有集录。永安中，赠征虏将军、营州刺史，谥曰康。又除一子出身，以明冤屈。谦之妻中山张氏，明识妇人也，教劝诸子，从师受业，常诫之曰：“自我为汝家妇，未见汝父一日不读书。汝等宜各修勤，勿替先业。”
谦之长子子儒，字孝礼。元颢入洛，其叔道穆从驾北巡。子儒后逾河至行宫，庄帝见之，具访洛中事意，子儒备陈元颢败在旦夕。帝谓道穆曰：“卿初来日，何故不与子儒俱行？”对曰：“臣家百口在洛，须其经营。且欲其今日之来，知京师后事。”帝曰：“子儒非直合卿本怀，亦大慰朕意。”仍授秘书郎中，转通直郎。后除安东将军、光禄大夫、司徒中兵参军、兼祭酒。袭爵。兴和初，除兼殿中侍御史。时四方多有流民，子儒为梁州、北豫、西兗三州检户使，所获甚多。后以公事去官。武定六年卒，时年四十一。
子儒弟绪，字叔宗，明悟好学。谦之常谓人曰：“兴吾门者，当是此兒。”及长，涉猎书传，好文咏。司空行参军、转长流参军。除镇远将军、冀州仪同府中兵参军，为府主封隆之所赏。隆之行梁州、济州，引自随，恆令总摄数郡。武定三年卒，年三十二。
绪弟孝贞，武定中，司徒士曹参军。
孝贞弟孝干，司空东阁祭酒。
谦之弟恭之，字道穆，行字于世。学涉经史，非名流俊士，不与交结。幼孤，事兄如父母。每谓人曰：“人生厉心立行，贵于见知，当使夕脱羊裘，朝佩珠玉者。若时不我知，便须退迹江海，自求其志。”
御史中尉元匡高选御史，道穆奏记于匡曰：“道穆生自蓬檐，长于陋巷。颇猎群书，无纯硕之德；尚好章咏，乏雕掞之工。虽欲厕影髦徒，班名俊伍，其可得哉？然凝明独断之主，雄才不世之君，无藉朽株之资，求人屠钓之下；不牵暗投之诮，取士商歌之中。是以闻英风而慷慨，望云路而低徊者，天下皆是也。若得身隶绣衣，名充直指，虽谢周生骑上之敏，实有茅氏就镬之心。”匡大喜曰：“吾久知其人，适欲召之。”遂引为御史。其所纠擿，不避权豪，台中事物，多为匡所顾问。道穆曾进说于匡曰：“古人有言，罚一人当取千万人惧，豺狼当道，不问狐狸。明公荷国重寄，宜使天下知法。”匡深然之。
正光中，出使相州。刺史李世哲即尚书令崇之子，贵盛一时，多有非法，逼买民宅，广兴屋宇，皆置鸱尾，又于马埒堠上为木人执节。道穆绳纠，悉毁去之，并发其赃货，具以表闻。又尔朱荣讨蠕蠕，道穆监其军事，荣甚惮之。还，除奉朝请，俄除太尉铠曹参军。
萧宝夤西征，以道穆为行台郎中，军机之事，多以委之。大都督崔延伯败后，贼势转强，属请益兵，朝廷不许。宝夤谓道穆曰：“非卿一行，兵无益理。”遂令乘传赴洛。灵太后亲问贼势，道穆具以状对，太后怒曰：“比来使人皆言贼弱，卿何独云其强也！”道穆曰：“前使不实者，当是冀陛下恩颜，望沾爵赏。臣既忝使人，不敢虚妄。愿令近臣亲检，足知虚实。”事讫当反，遇病不行。
后属兄谦之被害，情不自安，遂托身于庄帝。帝时为侍中，特相钦重，引居第中，深相保护。俄而，帝以兄事见出。道穆惧祸，乃携家趣济阴，变易姓名，往来于东平毕氏，以避时难。庄帝即位，征为尚书三公郎中，加宁朔将军。寻兼吏部郎中，与薛昙尚书使晋阳，授尔朱荣职，赐爵龙城侯。九月，除太尉长史，领中书舍人。遭母忧去职，帝令中书舍人温子升就宅吊慰，诏摄本任，表辞不许。三年，加前军将军。
及元颢逼虎牢城，或劝帝赴关西者，帝以问道穆，道穆对曰：“关中今日残荒，何由可往？臣谓元颢兵众不多，乘虚深入者，由国家将帅征捍不得其人耳。陛下若亲率宿卫，高募重赏，背城一战，臣等竭其股肱之力，破颢孤军，必不疑矣。如恐成败难测，非万乘所履，便宜车驾北渡，循河东下。征大将军天穆合于荥阳，向虎牢；别征尔朱王军，令赴河内以掎角之。旬月之间，何往不克！臣窃谓万全之计，不过于此。”帝曰：“高舍人语是。”其夜到河内郡北，未有城守可依，帝命道穆秉烛作诏书数十纸，布告远近，于是四方知乘舆所在。除中军将军、给事黄门侍郎、安喜县开国公，食邑千户。于时尔朱荣欲回师待秋，道穆谓荣曰：“元颢以蕞尔轻兵，奄据京洛，使乘舆飘露，人神恨愤，主忧臣辱，良在于今。大王拥百万之众，辅天子而令诸侯，自可分兵河畔，缚筏造船，处处遣渡，径擒群贼，复主宫阙，此桓文之举也。且一日纵敌，数世之患，今若还师，令颢重完守具，征兵天下，所谓养虺成蛇，悔无及矣。”荣深然之，曰：“杨黄门侃已陈此计，当更议决耳。”
及庄帝反政，因宴次谓尔朱荣曰：“前若不用高黄门计，则社稷不安。可为朕劝其酒令醉。”荣对曰：“臣本北征蠕蠕，高黄门与臣作监军。临事能决，实可任用。”除征南将