之当候己，辄洒扫而待之。如此者累年，而羲之竟不顾，述深以为恨。及述为扬州刺史，将就征，周行郡界，而不过羲之，临发，一别而去。先是，羲之常谓宾友曰：“怀祖正当作尚书耳，投老可得仆射。更求会稽，便自邈然。”及述蒙显授，羲之耻为之下，遣使诣朝廷，求分会稽为越州。行人失辞，大为时贤所笑。既而内怀愧叹，谓其诸子曰：“吾不减怀祖，而位遇悬邈，当由汝等不及坦之故邪！”述后检察会稽郡，辩其刑政，主者疲于简对。羲之深耻之，遂称病去郡，于父母墓前自誓曰：“维永和十一年三月癸卯朔，九日辛亥，小子羲之敢告二尊之灵。羲之不天，夙遭闵凶，不蒙过庭之训。母兄鞠育，得渐庶几，遂因人乏，蒙国宠荣。进无忠孝之节，退违推贤之义，每仰咏老氏、周任之诫，常恐死亡无日，忧及宗祀，岂在微身而已！是用寤寐永叹，若坠深谷。止足之分，定之于今。谨以今月吉辰肆筵设席，稽颡归诚，告誓先灵。自今之后，敢渝此心，贪冒苟进，是有无尊之心而不子也。子而不子，天地所不覆载，名教所不得容。信誓之诚，有如皦日！”
羲之既去官，与东土人士尽山水之游，弋钓为娱。又与道士许迈共修服食，采药石不远千里，遍游东中诸郡，穷诸名山，泛沧海，叹曰：“我卒当以乐死。”谢安尝谓羲之曰：“中年以来，伤于哀乐，与亲友别，辄作数日恶。”羲之曰：“年在桑榆，自然至此。顷正赖丝竹陶写，恆恐兒辈觉，损其欢乐之趣。”朝廷以其誓苦，亦不复征之。
时刘惔为丹阳尹，许询尝就惔宿，床帷新丽，饮食丰甘。询曰：“若此保全，殊胜东山。”惔曰：“卿若知吉凶由人，吾安得保此。”羲之在坐，曰：“令巢许遇稷契，当无此言。”二人并有愧色。
初，羲之既优游无事，与吏部郎谢万书曰：
古之辞世者或被发阳狂，或污身秽迹，可谓艰矣。今仆坐而获逸，遂其宿心，其为庆幸，岂非天赐！违天不祥。
顷东游还，修植桑果，今盛敷荣，率诸子，抱弱孙，游观其间，有一味之甘，割而分之，以娱目前。虽植德无殊邈，犹欲教养子孙以敦厚退让。或以轻薄，庶令举策数马，仿佛万石之风。君谓此何如？
比当与安石东游山海，并行田视地利，颐养闲暇。衣食之余，欲与亲知时共欢宴，虽不能兴言高咏，衔杯引满，语田里所行，故以为抚掌之资，其为得意，可胜言邪！常依陆贾、班嗣、杨王孙之处世，甚欲希风数子，老夫志愿尽于此也。
万后为豫州都督，又遗万书诫之曰：“以君迈往不屑之韵，而俯同群辟，诚难为意也。然所谓通识，正自当随事行藏，乃为远耳。愿君每与士之下者同，则尽善矣。食不二味，居不重席，此复何有，而古人以为美谈。济否所由。实在积小以致高大，君其存之。”万不能用，果败。
年五十九卒，赠金紫光禄大夫。诸子遵父先旨，固让不受。
有七子，知名者五人。玄之早卒。次凝之，亦工草隶，仕历江州刺史、左将军、会稽内史。王氏世事张氏五斗米道，凝之弥笃。孙恩之攻会稽，僚佐请为之备。凝之不从，方入靖室请祷，出语诸将佐曰：“吾已请大道，许鬼兵相助，贼自破矣。”既不设备，遂为孙所害。
徽之字子猷。性卓荦不羁，为大司马桓温参军，蓬首散带，不综府事。又为车骑桓冲骑兵参军，冲问：“卿署何曹？”对曰：“似是马曹。”又问：“管几马？”曰：“不知马，何由知数！”又问：“马比死多少？”曰：“未知生，焉知死！”尝从冲行，值暴雨，徽之因下马排入车中，谓曰：“公岂得独擅一车！”冲尝谓徽之曰：“卿在府日久，比当相料理。”徽之初不酬答，直高视，以手版柱颊云：“西山朝来致有爽气耳。”
时吴中一士大夫家有好竹，欲观之，便出坐舆造竹下，讽啸良久。主人洒扫请坐，徽之不顾。将出，主人乃闭门，徽之便以此赏之，尽叹而去。尝寄居空宅中，便令种竹。或问其故，徽之但啸咏，指竹曰：“何可一日无此君邪！”尝居山阴，夜雪初霁，月色清朗，四望皓然，独酌酒咏左思《招隐诗》，忽忆戴逵。逵时在剡，便夜乘小船诣之，经宿方至，造门不前而反。人问其故，徽之曰：“本乘兴而行，兴尽而反，何必见安道邪！”雅性放诞，好声色，尝夜与弟献之共读《高士传赞》，献之赏井丹高洁，徽之曰：“未若长卿慢世也。”其傲达若此。时人皆钦其才而秽其行。
后为黄门侍郎，弃官东归，与献之俱病笃，时有术人云：“人命应终，而有生人乐代者，则死者可生。”徽之谓曰：“吾才位不如弟，请以余年代之。”术者曰：“代死者，以己年有余，得以足亡者耳。今君与弟算俱尽，何代也！”未几，献之卒，徽之奔丧不哭，直上灵床坐，取献之琴弹之，久而不调，叹曰：“呜呼子敬，人琴俱亡！”因顿绝。先有背疾，遂溃裂，月余亦卒。子桢之。
桢之字公干，历位侍中、大司马长史。桓玄为太尉，朝臣毕集，问桢之：“我何如君亡叔？”在坐咸为气咽。桢之曰：“亡叔一时之标，公是千载之英。”一坐皆悦。
操之字子重，历侍中、尚书、豫章太守。 <