至贬黜。衍由此得罪，尝自诣狱，有绍赦不问。西归故郡，闭门自保，不敢复与亲故通。
后汉书卷二十八下 冯衍传 第十八下
建武末，上疏自陈曰：
臣伏念高祖之略而陈平之谋，毁之则疏，誉之则亲。以文帝之明而魏尚之忠，绳之以法则为罪，施之以德则为功。逮至晚世，董仲舒言道德，见妒于公孙弘，李广奋节于匈奴，见排于韂青，此忠臣之常所为流涕也。
臣衍自惟微贱之臣，上无无知之荐，下无冯唐之说，乏董生之才，寡李广之埶，而欲免谗口，济怨嫌，岂不难哉！
臣衍之先祖，以忠贞之故，成私门之祸。而臣衍复遭扰攘之时，值兵革之际，不敢回行求时之利，事君无倾邪之谋，将帅无虏掠之心。韂尉阴兴，敬慎周密，内自修□，外远嫌疑，故敢与交通。兴知臣之贫，数欲本业之。
臣自惟无三益之才，不敢处三损之地，固让而不受之。昔在更始，太原执货财之柄，居苍卒之闲，据位食禄二十余年，而财产岁狭，居处日贫，家无布帛之积，出无舆马之饰。于今遭清明之时，饬躬力行之秋，而怨雠丛兴，讥议横世。盖富贵易为善，贫贱难为工也。疏远□亩之臣，无望高阙之下，惶恐自陈，以救罪尤。
书奏，犹以前过不用。
衍不得志，退而作赋，又自论曰：
冯子以为夫人之德，不碌碌如玉，落落如石。风兴云蒸，一龙一蛇，与道鬏翔，与时变化，夫岂守一节哉？用之则行，舍之则臧，进退无主，屈申无常。故曰：“有法无法，因时为业，有度无度，与物趣舍。”常务道德之实，而不求当世之名，阔略杪小之礼，荡佚人闲之事。正身直行，恬然肆志。顾尝好俶傥之策，时莫能听用其谋，喟然长叹，自伤不遭。久栖彁于小官，不得舒其所怀。抑心折节，意凄情悲。夫伐冰之家，不利鸡豚之息；委积之臣，不操市井之利。况历位食禄二十余年，而财产益狭，居处益贫。惟夫君子之仕，行其道也。虑时务者不能兴其德，为身求者不能成其功。去而归家，复羇旅于州郡，身愈据职，家弥穷困，卒离饥寒之灾，有丧元子之祸。
先将军葬渭陵，哀帝之崩也，营之以为园。于是以新丰之东，鸿门之上，寿安之中，地埶高敞，四通广大，南望郦山，北属泾渭，东瞰河华，龙门之阳，三晋之路，西顾酆鄗，周秦之丘，宫观之墟，通视千里，览见旧都，遂定□焉。退而幽居。盖忠臣过故墟而歔欷，孝子入旧室而哀叹。
每念祖考，着盛德于前，垂鸿烈于后，遭时之祸，坟墓芜秽，春秋蒸尝，昭穆无列。年衰岁暮，悼无成功，将西田牧肥饶之野，殖生产，修孝道，营宗庙，广祭祀。然后阖门讲习道德，观览乎孔老之论，庶几乎松乔之福。上陇阪，陟高冈，游精宇宙，流目八纮。历观九州山川之体，追览上古得失之风，愍道陵彁，伤德分崩。夫鷪其终必原其始，故存其人而咏其道。疆理九野，经营五山，眇然有思陵云之意。
乃作赋自厉，命其篇曰显志。显志者，言光明风化之情，昭章玄妙之思也。其辞曰：
开岁发春兮，百卉含英。甲子之朝兮，汨吾西征。发轫新丰兮，□回镐京。陵飞廉而太息兮，登平阳而怀伤。悲时俗之险□兮，哀好恶之无常。弃衡石而意量兮，随风波而飞扬。纷纶流于权利兮，亲赖同而妒异；独耿介而慕古兮，岂时人之所□？沮先圣之成论兮，□名贤之高风；
忽道德之珍丽兮，务富贵之乐耽。遵大路而□回兮，履孔德之窈冥；固觽夫之所眩兮，孰能观于无形？行劲直以离尤兮，羌前人之所有；内自省而不臱兮，遂定志而弗改。欣吾党之唐虞兮，愍吾生之愁勤；聊发愤而扬情兮，将以荡夫忧心。往者不可攀援兮，来者不可与期；病没世之不称兮，愿横逝而无由。
道以空为主，故无物而不容。时俗眩于名利，孰能观大象无形*(矣)**[哉]*？ 陟雍畤而消摇兮，超略阳而不反。念人生之不再兮，悲六亲之日远。陟九嵕而临□嶭兮，听泾渭之波声。顾鸿门而歔欷兮，哀吾孤之早零。何天命之不纯兮，信吾罪之所生；伤诚善之无辜兮，赍此恨而入冥。嗟我思之不远兮，岂败事之可悔？虽九死而不眠兮，恐余殃之有再。泪汍澜而雨集兮，气滂浡而云披；心怫郁而纡结兮，意沉抑而内悲。
史记曰，秦并天下，祠雍四畤，汉加黑帝，谓之五畤。消摇犹观望也。超，过也。略阳，县名，属天水郡，今陇州陇城县也。六亲，夫妇﹑父子﹑兄弟也。 眠即瞑也。今纵饬躬自勖，又恐殃祸至再，所以泪落意沉，气愤心结也。
瞰太行之塀笹兮，观壶口之峥嵘；悼丘墓之芜秽兮，恨昭穆之不荣。岁忽忽而日迈兮，寿冉冉其不与；耻功业之无成兮，赴原野而穷处。昔伊尹之干汤兮，七十说而乃信；嚱陶钓于赖泽兮，赖虞舜而后亲。无二士之遭遇兮，抱忠贞而莫达；率妻子而耕耘兮，委厥美而不伐。韩卢抑而不纵兮，骐骥绊而不试；独慷慨而远览兮，非庸庸之所识。卑卫赐之阜货兮，高颜回之所慕；重祖考之洪烈兮，故收功于此路。循四时之代谢兮，分五土之刑德；
相林麓之所产兮，尝水泉之所殖。修神农之本业兮，采轩辕之奇策；追周弃之遗教兮，轶范蠡之绝夡。陟陇山以踰望兮，眇然览于八荒；风波飘其并兴兮，情惆怅而增