冒者。
十五年，帝将有事太山，至洛阳，星孛太微，犯郎位。遂良谏曰：“陛下拨乱反正，功超古初，方告成岱宗，而彗辄见，此天意有所未合。昔汉武帝行岱礼，优柔者数年，臣愚愿加详虑。”帝寤，诏罢封禅。
迁谏议大夫，兼知起居事。帝曰：“卿记起居，大抵人君得观之否？”对曰：“今之起居，古左右史也，善恶必记，戒人主不为非法，未闻天子自观史也。”帝曰：“朕有不善，卿必记邪？”对曰：“守道不如守官，臣职载笔，君举必书。”刘洎曰：“使遂良不记，天下之人亦记之矣。”帝曰：“朕行有三：一，监前代成败，以为元龟，二，进善人，共成政道；三，斥远群小，有受谗言。朕能守而勿失，亦欲史氏不能书吾恶也。”
是时，魏王泰礼秩如嫡，群臣未敢谏。帝从容访左右曰：“方今何事尤急？”岑文本泛言礼义为急，帝以不切，未领可。遂良曰：“今四方仰德，谁弗率者？唯太子、诸王宜有定分。”帝曰：“有是哉！朕年五十，日以衰怠，虽长子守器，而弟、支子尚五十人，心常念焉。自古宗姓无良，则倾败相仍，公等为我简贤者保傅之。夫事人久，情媚熟，则非意自生，其令王府官不得过四考，著为令。”帝尝怪：“舜造漆器，禹雕其俎，谏者十余不止，小物何必尔邪？”遂良曰：“雕琢害力农，纂绣伤女工，奢靡之始，危亡之渐也。漆器不止，必金为之，金又不止，必玉为之，故谏者救其源，不使得开。及夫横流，则无复事矣。”帝咨美之。
于时皇子虽幼，皆外任都督、刺史，遂良谏曰：“昔二汉以郡国参治，杂用周制。今州县率仿秦法，而皇子孺年并任刺史，陛下诚以至亲扞四方。虽然，刺史，民之师帅也，得人则下安措，失人则家劳攰。故汉宣帝曰：‘与我共治，惟良二千石乎。’臣谓皇子未冠者，可且留京师，教以经学，畏仰天威，不敢犯禁，养成德器，审堪临州，然后敦遣。昔东汉明、章诸帝，友爱子弟，虽各有国，幼者率留京师，训饬以礼。讫其世，诸王数十百，惟二人以恶败，自余餐和染教，皆为善良。此前事已验，惟陛下省察。”帝嘉纳。
太子承乾废，魏王泰间侍，帝许立为嗣，因谓大臣曰：“泰昨自投我怀中云：‘臣今日始得为陛下子，更生之日也。臣惟有一子，百年后，当杀之，传国晋王。’朕甚怜之。”遂良曰：“陛下失言。安有为天下主而杀其爱子，授国晋王乎？陛下昔以承乾为嗣，复宠爱泰，嫡庶不明，纷纷至今。若必立泰，非别置晋王不可。”帝泣曰：“我不能。”即诏长孙无忌、房玄龄、李勣与遂良等定策立晋王为皇太子。
时飞雉数集宫中，帝问：“是何祥也？”遂良曰：“昔秦文公时，有侲子化为雉，雌鸣陈仓，雄鸣南阳。侲子曰：‘得雄者王，得雌者霸。’文公遂雄诸侯，始为宝鸡祠。汉光武得其雄，起南阳，有四海。陛下本封秦，故雄雌并见，以告明德。”帝悦，曰：“人之立身，不可以无学。遂良所谓多识君子哉！”俄授太子宾客。
薛延陀请婚，帝己纳其聘，复绝之。遂良曰：“信为万事本，百姓所归。故文王许枯骨而不违，仲尼去食存信，贵之也。延陀，曩一俟斤耳。因天兵北讨，荡平沙塞，威加诸外，而恩结于内，以为余寇不可以无酋长，故玺书鼓纛，立为可汗。负抱之恩，与天无极。数遣使请婚于朝，陛下既开许，为御北门受献食。今一朝自为进退，所惜少，所失多，亏信夷狄，方生嫌恨，殆不可以训戎兵、励军事也。且龙沙以北，部落牛毛，中国击之不能尽，亦犹可北败，芮芮兴，突厥亡，延陀盛。是以古人虚外实内，怀之以德。使为恶，在夷不在华；失信，在彼不在此也。惟陛下裁幸。”不纳。
帝欲自讨辽东，遂良固劝无行：“一不胜，师必再兴；再兴，为忿兵。兵忿者，胜负不可必。”帝然可。会李勣诋其计，帝意遂决东。遂良惧，上言：“臣请譬诸身。两京，腹心也；四境，手足也；殊裔绝域，殆非支体所属。高丽王陛下所立，莫离支杀之。讨其逆，夷其地，固不可失，但遣一二慎将，付锐兵十万，翔■云輣，唾手可取。昔侯君集、李靖皆庸人尔，犹能撅高昌，缨突厥，陛下止发踪指示，得归功圣明。前日从陛下平天下，虓士爪臣，气力未衰，可驱策，惟陛下所使。臣闻涉辽而左，或水潦，平地淖三尺，带方、玄菟，海壤荒漫，决非万乘六师所宜行。”是时，帝锐意荡平，不见省。进黄门侍郎，参综朝政。莫离支遣使贡金，遂良曰：“古者讨杀君之罪，不受其赂。鲁纳郜鼎太庙，《春秋》讥之。今莫离支所贡不臣之篚，不容受。”诏可，以其使属吏。
帝既平高昌，岁调兵千人往屯，遂良诵诤不可，帝志取西域，寘其言不用。西突厥寇西州，帝曰：“往魏征、褚遂良劝我立麹文泰子弟，不用其计，乃今悔之。”帝于寝宫侧别置院居太子，遂良谏，以为“朋友深交者易怨，父子滞爱者多愆。宜许太子间还东宫，近师傅，专学艺，以广懿德。”帝从其言。会父丧免，起复，拜中书令。
帝寝疾，召遂良、长孙无忌曰：“叹武帝寄霍光，刘备托诸葛亮，朕今委卿矣。太子仁孝，其尽诚辅之。”谓太子曰：“无忌、遂良在，而毋