宁州刺史，抚和戎落，得其欢心，郡人勒碑以颂。入拜冬官侍郎、持节江南巡抚使。吴、楚俗多淫祠，仁杰一禁止，凡毁千七百房，止留夏禹、吴太伯、季札、伍员四祠而已。
转文昌右丞，出豫州刺史。时越王兵败，支党余二千人论死。仁杰释其械，密疏曰：“臣欲有所陈，似为逆人申理；不言，且累陛下钦恤意。表成复毁，自不能定。然此皆非本恶，诖误至此。”有诏悉谪戍边。囚出宁州，父老迎劳曰：“狄使君活汝耶！”因相与哭碑下。囚斋三日乃去。至流所，亦为立碑。初，宰相张光辅讨越王。军中恃功，多暴索，仁杰拒之。光辅怒曰：“州将轻元帅邪？”仁杰曰：“乱河南者一越王，公董士三十万以平乱，纵使暴横，使无辜之人咸坠涂炭，是一越王死，百越王生也。且王师之至，民归顺以万计，自缒而下，四面成蹊。奈何纵邀赏之人杀降以为功，冤痛彻天？如得上方斩马剑加君颈，虽死不恨！”光辅还，奏仁杰不逊，左授复州刺史。徙洛州司马。
天授二年，以地官侍郎同凤阁鸾台平章事。武后谓曰：“卿在汝南有善政，然有谮卿者，欲知之乎？”谢曰：“陛下以为过，臣当改之；以为无过，臣之幸也。谮者乃不愿知。”后叹其长者。时太学生谒急，后亦报可。仁杰曰：“人君惟生杀柄不以假人，至簿书期会，宜责有司。尚书省决事，左、右丞不句杖，左、右丞相不判徒，况天子乎？学徒取告，丞、簿职耳，若为报可，则胄子数千，凡几诏耶？为定令示之而已。”后纳其言。
会为来俊臣所构，捕送制狱。于时，讯反者一问即臣，听减死。俊臣引仁杰置对，答曰：“有周革命，我乃唐臣，反固实。”俊臣乃挺系。其属王德寿以情谓曰：“我意求少迁，公为我引杨执柔为党，公且免死。”仁杰叹曰；“皇天后土，使仁杰为此乎！”即以首触柱，血流沫面。德寿惧而谢。守者浸弛，即丐笔书帛，置褚衣中，好谓吏曰；“方暑，请付家彻絮。”仁杰子光远得书上变，后遣使案视。俊臣命仁杰冠带见使者，私令德寿作谢死表，附使以闻。后乃召见仁杰，谓曰：“承反何耶？”对曰：“不承反，死笞掠矣。”示其表，曰：“无之。”后知代署，因免死。武承嗣屡请诛之，后曰：“命已行，不可返。”时同被诬者凤阁侍郎任知古等七族悉得贷。御史霍献可以首叩殿陛苦争，欲必杀仁杰等，乃贬仁杰彭泽令，邑人为置生祠。
万岁通天中，契丹陷冀州，河北震动，擢仁杰为魏州刺史。前刺史惧贼至，驱民保城，修守具。仁杰至，曰：“贼在远，何自疲民？万一虏来，吾自办之，何预若辈？”悉纵就田。虏闻，亦引去，民爱仰之，复为立祠。俄转幽州都督，赐紫袍、龟带，后自制金字十二於袍，以旌其忠。
召拜鸾台侍郎，复同凤阁鸾台平章事。时发兵戍疏勒四镇，百姓怨苦。仁杰谏曰：
天生四夷，皆在先王封域之外。东距沧海，西隔流沙，北横大漠，南阻五岭，天所以限中外也。自典籍所纪，声教所暨，三代不能至者，国家既已兼之。诗人矜薄伐於太原，化行於江、汉，前代之遐裔，而我之域中，过夏、商远矣。今乃用武荒外，邀功绝域，竭府库之实，以争硗确不毛之地，得其人不足以增赋，获其土不可以耕织。苟求冠带远夷，不务固本安人，此秦皇、汉武之所行也。传曰：“与覆车同轨者未尝安。”此言虽小，可以喻大。
臣伏见国家师旅岁出，调度之费狃以浸广，右戍四镇，左屯安东，杼轴空匮，转输不绝，行役既久，怨旷者多。上不是恤，则政不行；政不行，则害气作；害气作，则虫螟生，水旱起矣。方今关东荐饥，蜀汉流亡，江、淮而南，赋敛不息。人不复本，则相率为盗，本根一摇，忧患非浅。所以然者，皆贪功方外，耗竭中国也。昔汉元帝纳贾捐之之谋而罢珠崖，宣帝用魏相之策而弃车师田。贞观中，克平九姓，册拜李思摩为可汗，使统诸部，夷狄叛则伐，降则抚，得推亡固存之义，无远戍劳人之役。今阿史那斛瑟罗，皆阴山贵种，代雄沙漠，若委之四镇，以统诸蕃，建为可汗，遣御寇患，则国家有继绝之美，无转输之苦。损四镇，肥中国，罢安东，实辽西，省军费於远方，并甲兵於要塞，恒、代之镇重，而边州之备丰矣。
且王者外宁，容有内危。陛下姑敕边兵谨守备，以逸待劳，则战士力倍；以主御客，则我得其便；坚壁清野，寇无所得。自然深入有颠踬之虑，浅入无虏获之益。不数年，二虏不讨而服矣。
又请废安东，复高姓为君长，省江南转饷以息民，不见纳。
张易之尝从容问自安计，仁杰曰：“惟劝迎庐陵王可以免祸。”会后欲以武三思为太子，以问宰相，众莫敢对。仁杰曰：“臣观天人未厌唐德。比匈奴犯边，陛下使梁王三思募勇士於市，逾月不及千人。庐陵王代之，不浃日，辄五万。今欲继统，非庐陵王莫可。”后怒，罢议。久之，召谓曰：“朕数梦双陆不胜，何也？”於是，仁杰与王方庆俱在，二人同辞对曰：“双陆不胜，无子也。天其意者以儆陛下乎！且太子，天下本，本一摇，天下危矣。文皇帝身蹈锋镝，勤劳而有天下，传之子孙。先帝寝疾，诏陛下监国。陛下掩神器而取之，十有