氐王杨绍先叔集起反叛，诏怀使持节、侍中、都督平氐诸军事以讨之，须有兴废，任从权计。其邢峦、李焕并禀节度。三年六月卒，年六十三。诏给东围秘器、朝服一具、衣一袭、钱二十万、布七百匹、蜡三百斤 ，赠司徒、冀州刺史。兼吏部尚书卢昶奏：“太常寺议谥曰，怀体尚宽柔，器操平正，依谥法，柔直考终曰‘靖’，宜谥靖公。司徒府议，怀作牧陕西，民馀惠化，入总端贰，朝列归仁，依谥法，布德执议曰‘穆’，宜谥穆公。二谥不同。”诏曰：“府、寺所执，并不克允，爱民好与曰‘惠’，可谥惠公。”
怀性宽容简约，不好烦碎。恆语人曰；“为贵人，理世务当举纳维，何必须太子细也。譬如为屋，但外望高显 ，楹栋平正，基壁完牢，风雨不入，足矣。斧斤不平，斫削不密，非屋之病也。”又性不饮酒而喜以饮人，好接宾友，雅善音律，虽在白首，至宴居之暇，常自操丝竹。怀有七子。
长子规，字灵度。中书学生、羽林监，袭爵。年三十三卒。
子肃，袭。卒。
子绍，袭。景明初，诏复王爵，寻除陇西郡开国公。卒于光禄大夫。赠度支尚书、冀州刺史，谥曰文。
子文远，袭。齐受禅，例降。
规弟荣，字灵并。年三十二，卒于司徒掾，赠光州刺史。
荣弟徽，字灵祚。年二十八。卒于直阁将军，特赠洛州刺史，谥曰质。
徽弟玄谅，出后怀弟奂。卒，赠代郡太守。
玄谅弟子雍，字灵和。少好文雅，笃志于学，推诚待士，士多归之。自秘书郎，除太子舍人、凉州中正。肃宗践阼，以宫臣例转奉车都尉，迁司徒属。转太中大夫、司徒司马。除恆农太守，迁夏州刺史。
时沃野镇人破落汗拔陵首为反乱，所在蜂起。统万逆胡，与相应接。子雍婴城自守，城中粮尽，煮马皮而食之。子雍善绥抚，得士心，人人戮力，无有离贰。以饥馑转切，欲自出求粮，留子延伯据守。僚属佥云：“今天下分析，寇贼万重，四方音信，莫不断绝。俄顷之间，变在不意，何宜父子如此分张？未若弃城俱去，更展规略。”子雍泣而谓众曰：“吾世荷国恩，早受籓寄，此是吾死地，更欲何求！然守御以来，岁月不浅，所患乏粮，不得制胜。吾今向东州，得数月之食，还与诸人保全必矣。”遂自率羸弱，向东夏运粮。延伯与将士送出城外，哭而拜辞，三军莫不鸣咽。子雍行数日，为朔方胡帅曹阿各拔所邀，力屈见执。子雍乃密遣人赍书，间行与城中文武云：“大军在近，努力围守，必令诸人福流苗裔。”又敕延伯令共固守。子雍虽被囚执，雅为胡人所敬，常以民礼事之。子雍为陈安危祸福之理，劝阿各拔令降，阿各拔将从之，未果而死。拔弟桑生代总部众，竟随子雍降。时北海王颢为大行台，子雍具陈贼可灭之状。颢给子雍兵马，令其先行。时东夏合境反叛，所在屯结。子雍转斗而前，九旬之中凡数十战，仍平东夏，徵税租粟，运于统万。于是二夏渐宁。
及萧宝夤等为贼所败，贼帅宿勤明达遣息阿非率众邀路。华州、白水被围逼，关右骚扰，咫尺不通。时子雍新平黑城，遂率士马并夏州募义之民，携家席卷，鼓行南出。贼帅康维摩拥率羌胡守锯谷，断棠桥。子雍与交战，太破之，生禽维摩。又攻贼帅契官斤于杨氏堡，破之。子雍出自西夏，渐至于东，转战千里，至是，朝廷始得其委问。除散骑常侍、使持节、假抚军将军、都督、兼行台尚书。复破贼帅纥单步胡提于曲沃堡。肃宗玺书劳勉之。子雍在白水郡复破阿非军，多所斩获。诏遣侍中、尚书令、城阳王徽于潼关宣旨慰劳。除中军将军、金紫光禄大夫、给事黄门侍郎，封乐平县开国公，邑一千户。
还洛，以葛荣久逼信都，诏假子雍征北将军，为北讨都督。时相州刺史安乐王鉴据鄴反，敕子雍与都督李神轨先讨之。子雍行达汤阴，鉴遣弟斌之夜袭子雍军，不克，奔败而返。子雍乘机继进，径围鄴城，与裴衍、神轨等攻鉴，平之。改封阳平县开国公，增邑千五百户，进号镇东将军。遂与裴衍发鄴以讨葛荣，而信都城陷。除子雍冀州刺史，馀官如故。子雍以冀州不守，上书曰；“贼中甚饥，专仰野掠。今朝廷足食，兵卒饱暖。高壁深垒，勿与争锋，彼求战则不得，野掠无所获，不盈数旬，可坐制凶丑。”时裴衍复表求行，诏子雍与衍速进。子雍重表固请，如谓不可，乞令裴衍独行。若不赐解，求停裴衍。苟逼同行，取败旦夕。诏不听，遂与衍俱进。至阳平郡东北漳曲，荣率贼十万来逼官军。子雍战败被害，年四十。朝野痛惜之。赠车骑大将国、仪同三司、雍州刺史，公如故。永安中，重赠司空，谥曰庄穆。
长子延伯，出后从伯。次子士则，早亡。士则弟士正、士规，并坐事死。次楷，字士质，小字那延，袭。武定中，齐文襄王府参军，齐受禅，例降。
延伯，初为司空参军事。时南秦民吴富反叛，诏以河间王琛为都督，延伯叔父子恭为军司。延伯为统军，随子恭西讨，战必先锋。子恭见其年幼，常诃制之而不能禁。
子雍在夏州，表乞兵援，诏延伯率羽林一千人赴之，城斗野