余官多不得上。又行从兵士，惟加勋，不得赐物，由是颇为内外所怨。先是，御史中丞宇文融献策，请括天下逃户及籍外剩田，置十道劝农使，分往检察。说嫌其扰人不便，数建议违之。及东封还，融又密奏分吏部置十铨，融与礼部尚书苏颋等分掌选事。融等每有奏请，皆为说所抑，由是铨综失叙。融乃与御史大夫崔隐甫、中丞李林甫奏弹说引术士夜解及受赃等状，敕宰臣源乾曜、刑部尚书韦抗、大理少卿胡珪、御史大夫崔隐甫就尚书省鞫问。说兄左庶子光诣朝堂割耳称冤。时中书主事张观、左卫长史范尧臣并依倚说势，诈假纳赂，又私度僧王庆则往来与说占卜吉凶，为隐甫等所鞫伏罪。说经两宿，玄宗使中官高力士视之，回奏：“说坐于草上，于瓦器中食，蓬首垢面，自罚忧惧之甚。”玄宗悯之。力士奏曰：“说曾为侍读，又于国有功。”玄宗然其奏，由是停兼中书令，观及庆则决杖而死，连坐迁贬者十余人。隐甫及融等恐说复用为己患，又密奏毁之。明年，诏说致仕，仍令在家修史。
初，说为相时，玄宗意欲讨吐蕃，说密奏许其通和，以息边境，玄宗不从。及瓜州失守，王掞死，说因获巂州斗羊，上表献之，以申讽谕。其表：“臣闻勇士冠鸡，武夫戴鹖，推情举类，获此斗羊。远生越巂，蓄性刚决，敌不避强，战不顾死，虽为微物，志不可挫。伏惟陛下选良家于六郡，求猛士于四方，鸟不遁才，兽不藏伎。如蒙效奇灵圃，角力天场，却鼓怒以作气，前踯躅以奋击。趹若奔云之交触，碎如转石之相叩，裂骨赌胜，溅血争雄，敢毅见而冲冠，鸷狠闻而击节。冀将少助明主市骏骨、揖怒蛙之意也。若使羊能言，必将曰‘若斗不解，立有死者’。所赖至仁无残，量力取劝焉。臣缘损足，未堪履地，谨遣男诣金明门奉进。”玄宗深悟其意，赐绢及杂彩一千匹。
十七年，复拜尚书左丞相、集贤院学士，寻代源乾曜为尚书左丞相。视事之日，上敕所司供帐，设音乐，内出酒食，御制诗一篇以叙其事。寻以修谒陵仪注功，加开府仪同三司。时长子均为中书舍人，次子垍尚宁亲公主，拜驸马都尉，又特授说兄庆王傅光为银青光禄大夫。当时荣宠，莫与为比。
十八年，遇疾，玄宗每日令中使问疾，并手写药方赐之。十二月薨，时年六十四。上惨恻久之，遽于光顺门举哀，因罢十九年元正朝会，诏曰：
弘济艰难，参其功者时杰；经纬礼乐，赞其道者人师。式瞻而百度允厘，既往而千载贻范。台衡轩鼎，垂黼藻于当今；徽策宠章，播芳蕤于后叶。故开府仪同三司、尚书左丞相、集贤院学士知院事、上柱国、燕国公张说，辰象降灵，云龙合契。元和体其冲粹，妙有释其至赜。挹而莫测，仰之弥高。精义探系表之微，英辞鼓天下之动。昔侍春诵，绸缪岁华。含舂容之声，叩而尽应；蕴泉源之智，启而斯沃。授命兴国，则天衢以通；济用和民，则朝政惟允。司钧总六官之纪，端揆为万邦之式。方弘风纬俗，返本于上古之初；而迈德振仁，不臻于中寿之福。于嗟不慭，既丧斯文。宣室余谈，泠然在耳；王殿遗草，宛留其迹。言念忠贤，良深震悼。是使当宁抚几，临乐彻悬，罢称觞之仪，遵往襚之礼。可赠太师，赐物五百段。
始玄宗在东宫，说已蒙礼遇。及太平用事，储位颇危，说独排其党，请太子监国，深谋密画，竟清内难，遂为开元宗臣。前后三秉大政，掌文学之任凡三十年。为文俊丽，用思精密，朝廷大手笔，皆特承中旨撰述，天下词人，咸讽诵之。尤长于碑文、墓志，当代无能及者。喜延纳后进，善用己长，引文儒之士，佐佑王化，当承平岁久，志在粉饰盛时。其封泰山，祠脽上，谒五陵，开集贤，修太宗之政，皆说为倡首。而又敦气义，重然诺，于君臣朋友之际，大义甚笃。时中书舍人徐坚自负文学，常以集贤院学士多非其人，所司供膳太厚，尝谓朝列曰：“此辈于国家何益，如此虚费。”将建议罢之。说曰：“自古帝王功成，则有奢纵之失，或兴池台，或玩声色。今圣上崇儒重道，亲自讲论，刊正图书，详延学者。今丽正书院，天子礼乐之司，永代规模，不易之道也。所费者细，所益者大。徐子之言，何其隘哉！”玄宗知之，由是薄坚。说既遭讪铄，罢知政事，专集贤文史之任，每军国大事，帝遣中使先访其可否。说尝自制其父《赠丹州刺史骘碑文》，玄宗闻之而御书其碑额赐之曰“呜呼，积善之墓”。有文集三十卷。太常谥议曰“文贞”，左司郎中阳伯诚驳议，以为不称，工部侍郎张九龄立议，请依太常为定，纷纶未决。玄宗为说自制神道碑文，御笔赐谥曰“文贞”，由是方定。
均、垍皆能文。说在中书，兄弟已掌纶翰之任。居父忧服阕，均除户部侍郎，转兵部。二十六年，坐累贬饶州刺史，以太子左庶子征，复为户部侍郎。九载，迁刑部尚书。自以才名当为宰辅，常为李林甫所抑。及林甫卒，依附权臣陈希烈，期于必取。既而杨国忠用事，心颇恶之，罢希烈知政事，引文部侍郎韦见素代之，仍以均为大理卿。均大失望，意常郁郁。禄山之乱，受伪命为中书令，掌贼枢衡。李岘、吕諲条疏陷贼官，均当大辟。肃宗于说有旧恩，特免死，长流合浦郡。