，照例收租为便。臣又惟海船公行，商贾四出，虽足为生民贸迁之利；然明世防倭甚严，滨海筑城置卫，其后倭众犹扰东南，不过因奸民勾连市易，遂尔生衅。今遇皇上声威四讫，诚不足虑；第恐积久玩生。请饬海疆文武大臣于通商之中、寓诘奸之意，出入稽察，慎严戍守；乃为制驭之策』。时知府缺出，吏部多不补；而式玉在淮有墨声，故疏黜之：事多施行。公以言路当尽得人，御史李时谦、裘充美素以伉直称，罢废久，疏荐起之；而时谦得复用。
十二月，迁刑部尚书。公在都察院时，遇三法司会议，刑部送稿至，有不当，即据事理驳回；必平允乃已。至是，左都御史马齐谓之曰：『公在秋官，都察院可藉手禀成，无烦往复矣』。公甫视事，以人命至重，尤加意矜恤；寓书中允公曰：『外间奏当成，平反不易；督、抚檄行所属，动云妥招。夫招一妥，即人命不妥矣。司中能担力者甚少，看来此部事颇难办也』。方十日，而改户部。公以户部天下之利薮，政由吏出，相缘为奸；凡钱榖出纳多寡、迟速之间，反覆驳查，索贿动千万计。外吏尤畏之；偶出外，虽督、抚亦曲意接待，科敛部费以供其欲，厌足乃已。公锐意欲革其弊，而正己以帅之；乃与尚书鄂尔多等约共澄清部事，易置司官，严立条约：各衙门文到日，钱粮应核算者即与核算、应放支者即与放支，一不假手吏胥。公遇事精敏，辞复明辨；满、汉司皆慑服，胥吏益无所措手。又谕十四司：『有事应说堂者，须满、汉同时说堂，便相商度』。一日，满司官复欲有所驳查以自便者；稿已成，鄂尔多却之曰：『徐公在此，尔尚敢相溷耶』！公知江南、福建布政司库皆缺银四、五十万，系侵蚀赂遗；疏请令督、抚每岁盘查，并禁有司私派部费，斥逐各衙门役满书吏。部中一时肃然。寻奉命与满大臣清理刑狱。定例：死罪减等者，安插内地。前此大臣虑囚，并发遣黑龙江，道远多不能存活；公欲复旧例，语满大臣以推广上恩，因如公言以请。其他罪轻者，力与开释。上宽仁，多可其奏。
二十八年五月，拜文华殿太学士。公闻命，即诣干清门辞曰：『臣在部振刷，方有次第；大学士位高责重，非臣材力所堪』。上不允。上又问：『大学士掌翰林院，古有之否』？阁臣曰：『有之』。即命公兼翰林院事；寻充「政治典训」、「平定三逆方略」、「大清一统志」总裁官。六月，考选科道，命内阁阅卷；公以从子中书舍人树榖名在选中，辞。上曰：『卿第往』。既进卷，上命树榖以御史用；公又奏曰：『臣备位大臣，子弟不当复列台省；请遵例回避』！上又不允。其冬，副都御史许三礼因论尚书公，并言公大臣，不当使子弟列居要职；公疏述前言，上不问也。二十九年春，上以畿辅岁不登，议赈济；公所荐御史李时谦条奏失旨，公自引咎，坐降二级留任，时谦得不罪。三月，充「三朝国史」总裁官。先是，上南巡，以江南浮粮太重，幸苏州时有旨问户部；时公为尚书，即考宋、元以来旧额并察诸书所载官田、民田始末及明时历朝诏书以闻，上命行在诸臣议，未定。至是，公在内阁，上复言江南浮粮；公顿首曰：『圣明及此，三吴万姓之福』。因下九卿博议。九卿有力持不可者，议遂寝。
公素强，无疾病。自留任史局，殚精竭思，即一字句惟恐有未安，必持择再三；疲■〈郄，儿代阝〉不自休，气数逆，微喘。及管机务、领翰林，晨入阁、午入院，未四鼓即趋朝，夜分犹不得寐；自言『我于公家事无他长，惟不肯苟且而已』。然坐是精力益减矣。会两江总督傅腊塔有疏劾公；公具疏辨，且求罢。上置督臣疏不问，而允公以原官致仕。公辞朝谢恩，轻舟首涂。过临清，榷关者呵止之；谓『相君归装，必有赢余，可构以罪』。登舟大索，至酱瓿之属无不发视。而公舟中衣服、杂器外，惟图书数千卷及光禄馔金三百而已；皆嚄唶，叹好官不置。公在途，感所遇山川、人物，咏怀风烈，譔述归赋以自广。然性素刚，不堪摧辱，气益逆上不可止，浸以成疾。九月归里，阖门约饬惟谨。常语子弟以上恩，惟勖以读书、立行、不自侮而已；一切有加者，戒勿与校也。然疾益甚；辛未秋七月二十七日，竟不起。卒之夕，家人见大星流至中天，光迸散；而公瞑矣。时几无以敛云。
公受两朝非常之遇，誓以身报，无毫发计较趋避祸福利害之私。其为政，惟在端澄本原、风别清浊、慎持大体、遏绝侥幸。既耻夫苞苴问遗之风，辄冰兢齿冷，一不以自污；而习见谄谀阿匼、哫訾喔咿与夫选懦容头过身者之不与家国事，独自奋以孑然之踪推排枝拄其间，如高橛之不可动、如锋距之不可干，以维挽积习沈溺之人心，使之独当知有君父，而于其身之去留，岂顾问哉！古之君子出而任天下之重，蹈危机、长怨府，不得久于其位者，往往类然；或罹于放斥之祸，更有甚焉者。公奉身而退，以礼始终；主恩无绝玦之迹，孤臣遂乞骸之请：不可谓非遭逢之幸。而归田以后，向之引绳排根者势犹未已；以不愆不疚之身，悄悄告瘁。天复夺之年，不获优游化日、长沐恩波，为圣朝之遗老；此海内无不摧伤，而善类尤为失气者也。是年冬，上诏谕天下，有曰：『内外各官彼此倾轧，伐异党同；私怨交寻，牵连报