提拏：斧钺檩然，未尝少贷。故当时吏治肃清，民生不困；岂一时之督、抚皆贤，彼诚有所畏也。自顺治十八年以后，督、抚率多夤缘而得。有所恃以无恐，勒索属员、扰害百姓；以下僚为奴隶、任传宣为爪牙，横取财物、贿赂权奸，根深蒂固：惟其意所欲为。夫直省亿万之众，皆世祖章皇帝留遗之群黎、皆我皇上爱养之赤子；其能堪此辈睃削为也！自「与受同罪」之法严，无敢纠督、抚之贪婪者。与者不认，则言者涉虚；即确然有据，亦不能执其人而问之矣。岂但不能纠督、抚，且不敢纠司、道、守、令。纠之，则干碍督、抚；安有督、抚承问，而不力为脱卸，谓尽属子虚者？数年来，未尝因贪纵而重处一人；反得粉饰功次，冒滥加衔。有贪之利、无贪之害，彼又何惮而不怙恶以自恣耶！近者皇上亲政，屡颁谕严饬，亦不过纠一、二有司以谢责。夫表不正，则影不直；安足除贪盗风而苏民生乎！乞睿鉴亲裁，罢黜溺职督、抚，庶吏治渐有起色』。疏下部知之。寻甄别各省督、抚，罢黩、降用、休致数人。九年五月，疏劾大学士魏裔介前以候补左都御史「妄援恩诏廕其子魏嘉」及入内院「市恩徇私」诸款，诏裔介回奏；仍下部察议。以各款俱辩释，惟候补官无得廕之例，革魏嘉廕生。八月，得旨内升，以四品顶带食俸，仍任御史。
十一年二月，擢左副都御史。六月，疏言：『外官失察衙役犯赃例，坐革职。在内部院司官所管胥役犯赃，向未有失察处分；故纵容奸蠹，置若罔闻。请敕部严议，俾知惩警』！又疏言：『今日吏治之弊，在于文法太密。而尤密者，在于方面有司等官，常有在任三、两年而罚俸至二、三十年者。失俸薄，尚恐不足以养廉；况积年无俸，又安能责其洁己爱民？乞敕部酌核外官罚俸事由原无情弊、近来处分过当者，请旨仍遵世祖章皇帝时定例，除去繁苛，以课吏治之实效』。又疏言：『两淮、两浙、长芦、河东等处盐课专遣御史经理，为商人培一时之元气，即为朝廷保恒足之泉源。至于缉枭贩以疏官引、严秤掣以速行销、翦恶棍以安良善、察职要以便小民，皆巡盐御史职拏。在顺治十八年以前，原以此为殿、最之法，不仅以完课为能事。乞敕嗣后各巡盐期满，仍行昔日考核之例，户部据钱粮之完欠为高下、都察院据政绩之优劣为劝惩；庶各争自濯磨，克尽职掌矣』。疏并下所司议行。是月，浙江巡盐御史杭奇、常锡允以私派诈赃，为商人赴通政司控告；命之芳赴浙察审得实，杭奇、常锡允并论绞。十月，迁吏部右侍郎。
十二年六月，授浙江总督。明年三月，疏言：『逆藩吴三桂陷湖南，恐煽诱滋扰浙江。提督标兵应复前未裁减时原额，令各营使用枪炮，为攻坚击远计』。疏甫入，逆藩耿精忠执福建总督范承谟据福州反。之芳闻变，疏言：『贼兵已至浦城，衢属仙霞关与贼接境，而常山一县又为西南孔道，臣已分调官兵星驰守御；请急敕江南省调兵赴援，江西省调兵谨守玉山、铅山要路，以固封疆』。疏入，命都统赖塔率江宁副都统玛哈达、瑚图等及驻防兵赴浙江，谕令与之芳商决军务。五月，奉诏进驻衢州；请复降调总兵李荣原官，俾统领绿营副将王廷梅、牟大寅、陈世凯、鲍虎等分道御贼。贼由常山陷开化、寿昌、淳安，由处州犯义乌、浦江、东阳、汤溪、龙游；沿河阻绝饷道，联结叛弁司定猷、叛镇祖宏勳陷平阳，踞温州；又陷黄岩，犯台州及绍兴，集悍卒数万窥衢州。七月，之芳与赖塔阅兵于水亭门，率总兵李荣及副都统瑚图等兵直薄贼垒，军于阬西；贼悉众来犯，我兵冲冒炮矢，奋击却贼。贼越壕踞木城，我兵追击至壕，守备梁安殁于阵。贼乘夜移踞杜泽大洲，陈世凯与副都统沃申进剿，斩戮甚众，乘胜复义乌、汤溪；牟大寅破贼常山，游击王世万破贼龙游，鲍虎复寿昌，王廷梅败贼于金华之石梁大沟源；李荣复东阳，寻大败贼兵于金华之寿溪，斩伪总兵张元兆等，毁寨十八；参将洪起元败贼于绍兴，复嵊县：先后得旨嘉之芳调度有方，将士奋勇；令事平日议叙。
时大将军康亲王杰书自京统师至金华，分遣贝子傅喇塔与都统巴雅尔等剿贼温、台。贼之在处州者偪衢州东南、在江山者偪衢州西南，之芳分饬营伍严守御，勿遽迎击。十月，疏言：『臣自驻衢以来，率励将士搜剿；虽所至克捷，终因兵少，战守不能兼应。原调集之兵及新设援剿镇兵，共只数千。金华堵御温、处两路，严州接连徽、饶二郡，并属咽喉之地；而衢州又当冲扼要，为全浙门户。各处贼兵皆报称数万，每处官兵不及三千，派防属县驻守；府城闻警，策应常恐不敷。臣标见设三营，应增足每营一千之数；并增设前、后二营，合成五千兵，目前便于策应；有恢复之地，即可分拨驻守。俟事平之日，调作温、处各营原额；是增兵不踰经制之外，而援剿机宜克协矣』。疏下户、兵二部议行。会康亲王奏进征温、处，应设温州、黄岩、平阳三镇标营，其将弁听之芳拣补，陈世凯、王廷梅、鲍虎并擢总兵官。十一月，贼众五万由常山偪衢州城西沟溪，倚山结十万寨，掘壕堑，觊联南路贼巢。之芳与赖塔议出贼不意，遣王廷梅同参领禅布等夜趋沟溪，分队进攻；自辰至酉，合力扑剿，斩贼万余，贼将弃寨溃窜。追逐二十里，获巨