义死难，矫遂为名臣，世以群为知人。除萧、赞、长平令，父卒去官。后以司徒掾举高第，为治书侍御史，转参丞相军事。魏国既建，迁为御史中丞。
时太祖议复肉刑，令曰：“安得通理君子达於古今者，使平斯事乎！昔陈鸿胪以为死刑有可加於仁恩者，正谓此也。御史中丞能申其父之论乎？”群对曰：“臣父纪以为汉除肉刑而增加笞，本兴仁恻而死者更众，所谓名轻而实重者也。
名轻则易犯，实重则伤民。书曰：‘惟敬五刑，以成三德。’易著劓、刖、灭趾之法，所以辅政助教，惩恶息杀也。且杀人偿死，合於古制；至於伤人，或残毁其体而裁翦毛发，非其理也。若用古刑，使淫者下蚕室，盗者刖其足，则永无淫放穿窬之奸矣。夫三千之属，虽未可悉复，若斯数者，时之所患，宜先施用。汉律所杀殊死之罪，仁所不及也，其馀逮死者，可以刑杀。如此，则所刑之与所生足以相贸矣。今以笞死之法易不杀之刑，是重人支体而轻人躯命也。”时锺繇与群议同，王朗及议者多以为未可行。太祖深善繇、群言，以军事未罢，顾众议，故且寝。
群转为侍中，领丞相东西曹掾。在朝无適无莫，雅杖名义，不以非道假人。
文帝在东宫，深敬器焉，待以交友之礼，常叹曰：“自吾有回，门人日以亲。”
及即王位，封群昌武亭侯，徙为尚书。制九品官人之法，群所建也。及践阼，迁尚书仆射，加侍中，徙尚书令，进爵颖乡侯。帝征孙权，至广陵，使群领中领军。
帝还，假节，都督水军。还许昌，以群为镇军大将军，领中护军，录尚书事。帝寝疾，群与曹真、司马宣王等并受遗诏辅政。明帝即位，进封颍阴侯，增邑五百，并前千三百户，与征东大将军曹休、中军大将军曹真、抚军大将军司马宣王并开府。顷之，为司空，故录尚书事。
是时，帝初莅政，群上疏曰：“诗称‘仪刑文王，万邦作孚’；又曰‘刑于寡妻，至于兄弟，以御于家邦’。道自近始，而化洽於天下。自丧乱已来，干戈未戢，百姓不识王教之本，惧其陵迟巳甚。陛下当盛魏之隆，荷二祖之业，天下想望至治，唯有以崇德布化，惠恤黎庶，则兆民幸甚。夫臣下雷同，是非相蔽，国之大患也。若不和睦则有雠党，有雠党则毁誉无端，毁誉无端则真伪失实，不可不深防备，有以绝其源流。”太和中，曹真表欲数道伐蜀，从斜谷入。群以为“太祖昔到阳平攻张鲁，多收豆麦以益军粮，鲁未下而食犹乏。今既无所因，且斜谷阻险，难以进退，转运必见钞截，多留兵守要，则损战士，不可不熟虑也”。
帝从群议。真复表从子午道。群又陈其不便，并言军事用度之计。诏以群议下真，真据之遂行。会霖雨积日，群又以为宜诏真还，帝从之。
后皇女淑薨，追封谥平原懿公主。群上疏曰：“长短有命，存亡有分。故圣人制礼，或抑或致，以求厥中。防墓有不脩之俭，嬴、博有不归之魂。夫大人动合天地，垂之无穷，又大德不逾闲，动为师表故也。八岁下殇，礼所不备，况未期月，而以成人礼送之，加为制服，举朝素衣，朝夕哭临，自古已来，未有此比。
而乃复自往视陵，亲临祖载。愿陛下抑割无益有损之事，但悉听群臣送葬，乞车驾不行，此万国之至望也。闻车驾欲幸摩陂，实到许昌，二宫上下，皆悉俱东，举朝大小，莫不惊怪。或言欲以避衰，或言欲於便处移殿舍，或不知何故。臣以为吉凶有命，祸福由人，移徙求安，则亦无益。若必当移避，缮治金墉城西宫，及孟津别宫，皆可权时分止。可无举宫暴露野次，废损盛节蚕农之要。又贼地闻之，以为大衰。加所烦费，不可计量。且吉士贤人，当盛衰，处安危，秉道信命，非徙其家以宁，乡邑从其风化，无恐惧之心。况乃帝王万国之主，静则天下安，动则天下扰；行止动静，岂可轻脱哉？”帝不听。
青龙中，营治宫室，百姓失农时。群上疏曰：“禹承唐、虞之盛，犹卑宫室而恶衣服，况今丧乱之后，人民至少，比汉文、景之时，不过一大郡。加边境有事，将士劳苦，若有水旱之患，国家之深忧也。且吴、蜀未灭，社稷不安。宜及其未动，讲武劝农，有以待之。今舍此急而先宫室，臣惧百姓遂困，将何以应敌？昔刘备自成都至白水，多作传舍，兴费人役，太祖知其疲民也。
今中国劳力，亦吴、蜀之所愿。此安危之机也，惟陛下虑之。”帝答曰：“王者宫室，亦宜并立。灭贼之后，但当罢守耳，岂可复兴役邪？是故君之职，萧何之大略也。”群又曰：“昔汉祖唯与项羽争天下，羽已灭，宫室烧焚，是以萧何建武库、太仓，皆是要急，然犹非其壮丽。今二虏未平，诚不宜与古同也。夫人之所欲，莫不有辞，况乃天王，莫之敢违。前欲坏武库，谓不可不坏也；后欲置之，谓不可不置也。若必作之，固非臣下辞言所屈；若少留神，卓然回意，亦非臣下之所及也。汉明帝欲起德阳殿，锺离意谏，即用其言，后乃复作之；殿成，谓群臣曰：‘锺离尚书在，不得成此殿也。’夫王者岂惮一臣，盖为百姓也。今臣曾不能少凝圣听，不及意远矣。”帝於是有所减省。
初，太祖时，刘廙坐弟与魏讽谋反，当诛。群言之太祖，太祖曰：“廙，名臣也，吾亦欲赦之。”乃复位。廙深德群，群