行，但既平之后，当劳圣虑耳。功名之际，臣所不敢居。若事了，当有所付授，愿审择其人。”
疾渐笃，乃举杜预自代。寻卒，时年五十八。帝素服哭之，甚哀。是日大寒，帝涕泪沾须鬓，皆为冰焉。南州人征市日闻祜丧，莫不号恸，罢市，巷哭者声相接。吴守边将士亦为之泣。其仁千所感如此。赐以东园秘器，朝服一袭，钱三十万，布百匹。诏曰：“征南大将军南城侯祜，蹈德冲素，思心清远。始在内职，值登大命，乃心笃诚，左右王事，入综机密，出统方岳。当终显烈，永辅朕躬，而奄忽殂陨，悼之伤怀。其追赠侍中、太傅，持节如故。”
祜立身清俭，被服率素，禄俸所资，皆以赡给九族，赏赐军士，家无余财。遗令不得以南城侯印入柩。从弟琇等述祜素志，求葬于先人墓次。帝不许，赐去城十里外近陵葬地一顷，谥曰成。祜丧既引，帝于大司马门南临送。祜甥齐王攸表祜妻不以侯敛之意，帝乃诏曰：“祜固让历年，志不可夺。身没让存，遗操益厉，此夷叔所以称贤，季子所以全节也。今听复本封，以彰高美。”
初，文帝崩，祜谓傅玄曰：“三年之丧，虽贵遂服，自天子达；而汉文除之，毁礼伤义，常以叹息。今主上天纵至孝，有曾闵之性，虽夺其服，实行丧礼。丧礼实行，除服何为邪！若因此革汉魏之薄，而兴先王之法，以敦风俗，垂美百代，不亦善乎！”玄曰：“汉文以末世浅薄，不能行国君之丧，故因而除之。除之数百年，一旦复古，难行也。”祜曰：“不能使天下如礼，且使主上遂服，不犹善乎！”玄曰：“主上不除而天下除，此为但有有父子，无复君臣，三纲之道亏矣。”祜乃止。
祜所著文章及为《老子传》并行于世。襄阳百姓于岘山祜平生游憩之所建碑立庙，岁时飨祭焉。望其碑者莫不流涕，杜预因名为堕泪碑。荆州人为祜讳名，屋室皆以门为称，改户曹为辞曹焉。
祜开府累年，谦让不辟士，始有所命，会卒，不得除署。故参佐刘侩、赵寅、刘弥、孙勃等笺诣预曰：“昔以谬选，忝备官属，各得与前征南大将军祜参同庶事。祜执德冲虚，操尚清远，德高而体卑，位优而行恭。前膺显命，来抚南夏，既有三司之仪，复加大将军之号。虽居其位，不行其制。至今海内渴伫，群俊望风。涉其门者，贪夫反廉，懦夫立志，虽夷惠之操，无以尚也。自镇此境，政化被乎江汉，潜谋远计，辟国开疆，诸所规摹，皆有轨量。志存公家，以死勤事，始辟四掾，未至而陨。夫举贤报国，台辅之远任也；搜扬侧陋，亦台辅之宿心也；中道而废，亦台辅之私恨也。履谦积稔，晚节不遂，此远近所以为之感痛者也。昔召伯所憩，爱流甘棠；宣子所游，封殖其树。夫思其人，尚及其树，况生存所辟之士，便当随例放弃者乎！乞蒙列上，得依已至掾属。”预表曰：“祜虽开府而不备僚属，引谦之至，宜见显明。及扶疾辟士，未到而没，家无胤嗣，官无命士，此方之望，隐忧载怀。夫笃终追远，人德归厚，汉祖不惜四千户之封，以慰赵子弟心。请议之。”诏不许。
祜卒二岁而吴平，群臣上寿，帝执爵流涕曰：“此羊太傅之功也。”因以克定之功，策告祜庙，仍依萧何故事，封其夫人。策曰：“皇帝使谒者杜宏告故侍中、太傅钜平成侯祜：昔吴为不恭，负险称号，郊境不辟，多历年所。祜受任南夏，思静其难，外扬王化，内经庙略，著德推诚，江汉归心，举有成资，谋有全策。昊天不吊，所志不卒，朕用悼恨于厥心。乃班命群帅，致天之讨，兵不逾时，一征而灭，畴昔之规，若合符契。夫赏不失劳，国有彝典，宜增启土宇，以崇前命，而重违公高让之素。今封夫人夏侯氏万岁乡君，食邑五千户，又赐帛万匹，谷万斛。”
祜年五岁，时令乳母取所弄金环。乳母曰：“汝先无此物。”祜即诣邻人李氏东垣桑树中探得之。主人惊曰：“此吾亡兒所失物也，云何持去！”乳母具言之，李氏悲惋。时人异之，谓李氏子则祜之前身也。又有善相墓者，言祜祖墓所有帝王气，若凿之则无后，祜遂凿之。相者见曰“犹出折臂三公”，而祜竟堕马折臂，位至公而无子。
帝以祜兄子暨为嗣，暨以父没不得为人后。帝又令暨弟伊为祜后，又不奉诏。帝怒，并收免之。太康二年，以伊弟篇为钜平侯，奉祜嗣。篇历官清慎，有私牛于官舍产犊，及迁而留之，位至散骑常侍，早卒。
孝武太元中，封祜兄玄孙之子法兴为钜平侯，邑五千户。以桓玄党诛，国除。尚书祠部郎荀伯子上表讼之曰：“臣闻咎繇亡嗣，臧文以为深叹；伯氏夺邑，管仲所以称仁。功高可百世不泯，滥赏无得崇朝。故太傅、钜平侯羊祜明德通贤，国之宗主，勋参佐命，功成平吴，而后嗣阙然，烝尝莫寄。汉以萧何元功，故绝世辄继，愚谓钜平封宜同酂国。故太尉广陵公准党翼贼伦，祸加淮南，因逆为利，窃飨大邦。值西朝政刑失裁，中兴因而不夺。今王道维新，岂可不大判臧否，谓广陵国宜在削除。故太保卫瓘本爵菑阳县公，既被横害，乃进茅土，始赠兰陵，又转江夏。中朝名臣，多非理终，瓘功德无殊，而独受偏赏，谓宜罢其郡封，复邑菑阳，则与夺有伦，善恶分矣。”竟寝不报。