疾，忽全失其明，上表乞致仕。□戒堂吏，不得上，遂贬公武安军节度副使，永州安置。命下，公怡然就道。人或谓公为近名，公闻而叹曰：“七十之年，两目俱丧，万里之行，岂其欲哉！但区区爱君之心，不能自已。人若避好名之嫌，则无为善之路矣。”每诸子怨章□公，必怒止之。江行，赴贬所，舟覆，扶公出，衣尽湿，顾诸子曰：“此岂章□为之哉！”至永州，公之诸子闻韩少卿维请均州，其子告□以少卿执政日与司马公议论多不合，得免行，欲以公与司马公议役法不同为言求归，白公，公曰：“吾用君实荐，以至宰相，同朝论事，不合即可，汝辈以为今日之言，不可也。有愧而生者，不若无愧而死。”诸子遂止。公安置永州，课儿孙诵书，躬亲教督，常至夜分。在永三年，怡然自得。或加以横逆，人莫能堪，而公不为动，亦未尝含怒于后也。每对宾客，惟论圣贤，修身行己，余及医药方书，他事一语不出口，而气貌益康宁，如在中州时。
司马温公事神宗时，王安礼为右丞。一日，宰执同对，有无人才之叹。左丞蒲宗孟对曰：“人才半为司马光以邪说坏之。”上不语，正视宗孟久之，宗孟惧甚，无以为容。上复曰：“蒲宗孟乃不取司马光耶？司马光未论别事，只辞枢密一节，朕自即位以来，惟见此一人。他人则虽迫之使去，亦不肯矣。”
刘安世元城，初除谏官，未敢拜命，入与娘子谋曰：“朝廷不以安世不肖，误除谏官。这个官职不比闲慢差遣，须与他朝廷理会，事有所触犯，祸出不测。朝廷方以孝治天下，如以老母恳辞，必无不可。”娘子曰：“不然。谏官是天子争臣，我见你爷要做不能得，你是何人，蒙朝廷有此除授。你果能补报朝廷，假使得罪，我不选甚处，随你去。但做。”公遂备礼辞免，寻便供职。三日，朝廷有大除拜，公便上二十四章，又论章□十九章。及得罪，□必欲见杀。春、循、梅、新、高、窦、雷、化八州恶地，安世历遍七州，又遭先妣丧祸，与儿子辈扶获灵柩，盛夏跣足，日行数十里，脚底都穿，叹曰：“今只老夫与儿子两人在耳！”公在朝，章□于昆山县强市民田，人口经州县监司次第陈诉，皆不敢受理，又经户部，不敢治，御史台亦不弹劾。公累上疏极论曰：“按□抱死党之志，而济以阴谋；蕴大奸之才，而辅之残忍。因缘王安石、惠卿之党，遂得进用。而造起边隙，侥幸富贵。在先帝时已坐置田不法，尝罢执政，蔡确引用，再叨大任。陛下嗣位，擢置上枢，而内怀奸谋，沮毁圣政，以致悖慢帷幄之前，殊无臣子之礼。及以家难，退归里闾，而敢凭恃凶豪，劫持州县，使无辜之民，流离失业。乞特赐窜殛，仍委台臣置院推劾。其昆山、苏州及本路监司，亦乞并行黜责。”章四上，朝廷令发运司体究，诏赎铜十斤。公复争之，以为“所责太轻，未厌公议，况□与蔡确、黄履、邢恕素相交结，天下指为四凶，若不因其自致人言，遂正典刑，异日却欲窜逐，深恐无名。且干系官吏，因□致罪，皆处从坐，□系首恶之人、乃止赎铜，事理颠错，亦已太甚。况下状之日，□父尚在，而别籍异财，事义显著。考按律文，罪入十恶。愚民冒犯，犹有常刑，□为大臣，天下所望，而亏损名教，绝灭义理，止从薄罚，何以示惩。圣人制法，惟务至公，若行于匹夫而废于公卿，伸于愚民而忽于贵近，此乃姑息之弊，非清朝之所宜行也。”蔡确虽贬，尚与章□等自谓有定策功，创造语言，恐胁贵近，为中外忧。刘安世复言曰：“臣近尝进对，论确朋党，虽粗陈大概，未能尽达天听，事体至重，不可不忧。臣闻蔡确、章□、黄履、邢恕四人者，在元丰之末，号为死党。□、确执政，倡之于内，履为中丞，与其僚属，和之于外。恕立其间，往来传送，天下之事，在其掌握。圣上嗣位，四人者以为有定策之功，眩惑中外。若不早为辨正，恐异日必为朝廷之患。臣闻元丰七年秋宴之日，今上皇帝出见群臣，都下喧传，以为盛事。明年神宗皇帝晏驾，众谓前日之出，已示与子之意，其事一也。自先帝违豫，嘉、政二王日诣寝殿候问起居，及疾势稍增，太皇太后即时面谕，并令还宫，非遇宣召，不得辄入，有以见圣心无私，保佑慎重，其事二也。建储之际，大臣未尝启沃，而太皇太后内出皇帝，为神考祈福，手书佛经，宣示执政，称美仁孝，发于天性，遂令下诏诞告外庭，盖事已先定，不假外助，其事三也。陛下听政之初，首建亲贤之宅，才告毕工，二王即迁就外第，天下之人，莫不服陛下之圣明，深得远嫌之理，其事四也。此实太皇太后圣虑深远，为宗庙社稷无穷之计，彼四人者，乃敢贪天之功，以为己力。伏望明诏执政及当时受遗之臣，同以亲见策立今上事迹，作为金滕之书，藏之禁中，又以其事本末，著实录，然后明正四凶之罪，布告天下。除蔡确近已贬窜外，所有章□、黄履、邢恕，欲乞并行逐之远方，终身不齿，所贵奸豪屏息，它日无患。”由是三人皆得罪。刘元城遭贬，章□、蔡卞用事，欲杀公者甚至，凡甲令所载，称远恶州军，无所不至，虽盛夏，令所在州军监督，日行一台，或泛海往来贬所。人谓公必死，然七年间未尝一日病，年几八十，坚悍不衰。公贬梅州，忽有所厚士类数辈至，辄相向垂泪。公曰：“岂