束帛丘园，臣实内愧，力疾谢命，不能供职。”上曰：“宫僚优闲，不必固辞。”赐文币酒牢，命侍人牛玉送之馆次。上顾文达曰：“人言此老迂，不迂也。”时文达首以宾师礼遇之。公卿大夫士，承其声名，坐门求见，而流俗多怪，谤议蜂起。中官见先生操古礼屹屹，则群聚而笑之或以为言者，文达为之解曰：“凡为此者，所以励风俗，使奔竞干求乞哀之徒观之而有愧也。”先生三辞不得命，称病笃不起。上谕文达曰：“与弼不受官者何故。必欲归，需秋凉而遣之，禄之终身，顾不可乎？”文达传谕，先生辞益坚。上曰：“果尔，亦难留。”乃允之。先生因上十事，上复召对。赐玺书银币，遣行人王惟善送归，命有司月廪之。盖先生知石亨必败，故洁然高蹈。其南还也，人问其故，第曰：“欲保性命而已。”己卯九月，遣门生进谢表。辛巳冬，适楚，拜杨文定之墓。壬午春，适闽，问考亭以申愿学之志。己丑十月十七日卒，年七十有九。
先生上无所传，而闻道最早，身体力验，只在走趋语默之间，出作入息，刻刻不忘，久之自成片段，所谓“敬义夹持，诚明两进”者也。一切玄远之言，绝口不道，学者依之，真有途辙可循。临川章衮谓：“其《日录》为一人之史，皆自言己事，非若他人以己意附成说，以成说附己意，泛言广论者比。”顾泾阳言：“先生一团元气，可追太古之朴。”而世之议先生者多端，以为先生之不受职，因敕书以伊、傅之礼聘之，至而授以谕德，失其所望，故不受。夫舜且历试诸艰，而后纳於百揆，则伊、傅亦岂初命为相？即世俗妄人，无如此校量官爵之法，而况於先生乎！陈建之《通纪》，拾世俗无根之谤而为此，固不足惜。薛方山亦儒者，《宪章录》乃复仍其谬。又谓与弟讼田，褫冠蓬首，短衣束裙，跪讼府庭。张廷祥有“上告素王，正名讨罪，岂容久窃虚名”之书。刘先生言：“予於本朝，极服康斋先生。其弟不简，私鬻祭田，先生讼之，遂囚服以质，绝无矫饰之意，非名誉心净尽，曷克至此！”然考之杨端洁《传易考》：先生自辞宫谕归，绝不言官，以民服力田。抚守张璝（番禺人）因先生拒而不见，璝知京贵有忌先生者（尹直之流），欲坏其节行，令人讼之。久之无应者，璝以严法令他人代弟讼之，牒入，即遣隶牒拘之。门人胡居仁等劝以官服往，先生服民服，从拘者至庭，璝加慢侮，方以礼遣。先生无愠色，亦心谅非弟意，相好如初。璝以此得内贵心。张廷祥元祯始亦信之，后乃释然。此为实录也。又谓：跋石亨族谱，自称门下士，顾泾凡允成论之曰：此好事者为之也。先生乐道安贫，旷然自足，真如凤凰翔於千仞之上，下视尘世，曾不足过而览焉。区区总戎一荐，何关重轻，乃遂不胜私门桃李之感，而事之以世俗所事座主举主之礼乎？此以知其不然者一也。且总戎之汰甚矣，行路之人，皆知其必败，而况於先生？先生所为坚辞谕德之命，意盖若将浼焉，惟恐其去之不速也，况肯褰裳而赴，自附於匪人之党乎？此以知其不然者二也。以羲论之，当时石亨势如燎原，其荐先生以炫耀天下者，区区自居一举主之名耳。向若先生不称门下，则大拂其初愿，先生必不能善归。先生所谓欲保性命者，其亦有甚不得已者乎？
吴康斋先生语
与邻人处一事，涵容不熟，既以容讫，彼犹未悟，不免说破。此闲气为患，寻自悔之。因思为君子当常受亏於人方做得，盖受亏即有容也。
食后坐东窗，四体舒泰，神气清朗，读书愈有进益。数日趣同，此必又透一关矣。
圣贤所言，无非存天理、去人欲。圣贤所行亦然。学圣贤者，舍是何以哉！
日夜痛自点检且不暇，岂有工夫点检他人？责人密，自治疏矣，可不戒哉！明德、新民，虽无二致，然己德未明，遽欲新民，不惟失本末先后之序，岂能有新民之效乎？徒尔劳攘，成私意也。
贫困中事务纷至，兼以病疮，不免时有愤躁。徐整衣冠读书，便觉意思通畅。古人云：“不遇盘根错节，无以别利器。”又云：“若要熟，也须从这里过。”然诚难能，只得小心宁耐做将去。朱子云：“终不成处不去便放下。”旨哉是言也！
文公谓“延平先生终日无疾言遽色”，与弼常叹何修而至此！又自分虽终身不能学也。文公又云：“李先生初间也是豪迈底人，后来也是琢磨之功。”观此，则李先生岂是生来便如此，盖学力所致也。然下愚末学，苦不能克去血气之刚，平居则慕心平气和，与物皆春；少不如意，躁急之态形焉。因思延平先生所与处者，岂皆圣贤？而能无疾言遽色者，岂非成汤“与人不求备，检身若不及”之功效欤？而今而后，吾知圣贤之必可学，而学之必可至，人性之本善，而气质之可化也的然矣。下学之功，此去何如哉！
夜病卧思家务，不免有所计虑，心绪便乱，气即不清。徐思可以力致者，德而已，此外非所知也。吾何求哉？求厚吾德耳！心於是乎定，气於是乎清。明日，书以自勉。
南轩读《孟子》甚乐，湛然虚明，平旦之气略无所挠，绿阴清昼，薰风徐来，而山林阒寂，天地自阔，日月自长。邵子所谓“心静方能知白日，眼明始会识青天”，於斯可验。