籍之以归，悉上送官。世宗强还之，彬始拜赐，悉以分遗亲旧而不留一钱。出为晋州兵马都监。一日，与主帅暨宾从环坐于野，会邻道守将走价驰书来诣，使者素不识彬，潜问人曰：「孰为曹监军？」有指彬以示之，使人以为绐己，笑曰：「岂有国戚近臣，而衣弋绨袍、坐素胡床者乎？」审视之方信。迁引进使。
初，太祖典禁旅，彬中立不倚，非公事未尝造门，群居燕会，亦所罕预，由是器重焉。建隆二年，自平阳召归，谓曰：「我畴昔常欲亲汝，汝何故疏我？」彬顿首谢曰：「臣为周室近亲，复忝内职，靖恭守位，犹恐获过，安敢妄有交结？」迁客省使，与王全斌、郭进领骑兵攻河东平乐县，降其将王超、侯霸荣等千八百人，俘获千余人。既而贼将蔚进率兵来援，三战皆败之。遂建乐平为平晋军。乾德初，改左神武将军。时初克辽州，河东召契丹兵六万骑来攻平晋，彬与李继勋等大败之于城下。俄兼枢密承旨。
二年冬，伐蜀，诏以刘光毅为归州行营前军副部署，彬为都监。峡中郡县悉下，诸将咸欲屠城以逞其欲，彬独申令戢下，所至悦服。上闻，降诏褒之。两川平，全斌等昼夜宴饮，不恤军士，部下渔夺无已，蜀人苦之。彬屡请旋师，全斌等不从。俄而全师雄等构乱，拥众十万，彬复与光毅破之于新繁，卒平蜀乱。时诸将多取子女玉帛，彬橐中唯图书、衣衾而已。及还，上尽得其状，以全斌等属吏。谓彬清介廉谨，授宣徽南院使、义成军节度使。彬入见，辞曰：「征西将士俱得罪，臣独受赏，恐无以示劝。」上曰：「卿有茂功，又不矜伐，设有微累，仁赡等岂惜言哉？惩劝国之常典，可无让。」
六年，遣李继勋、党进率师征太原，命为前军都监，战洞涡河，斩二千余级，俘获甚众。开宝二年，议亲征太原，复命为前军都监，率兵先往，次团柏谷，降贼将陈廷山。又战城南，薄于濠桥，夺马千余。及太祖至，则已分砦四面，而自主其北。六年，进检校太傅。
七年，将伐江南。九月，彬奉诏与李汉琼、田钦祚先赴荆南发战舰，潘美帅步兵继进。十月，诏以彬为升州西南路行营马步军战棹都部署，分兵由荆南顺流而东，破峡口砦，进克池州，连克当涂、芜湖二县，驻军采石矶。十一月，作浮梁，跨大江以济师。十二月，大破其军于白鹭洲。
八年正月，又破其军于新林港。二月，师进次秦淮，江南水陆十余万陈于城下，大败之，俘斩数万计。及浮梁成，吴人出兵来御，破之于白鹭洲。自三月至八月，连破之，进克润州。金陵受围，至是凡三时，吴人樵采路绝，频经败衄，李煜危急，遣其臣徐铉奉表诣阙，乞缓师，上不之省。先是，大军列三砦，美居守北偏，图其形势来上。太祖指北砦谓使者曰：「吴人必夜出兵来寇，尔亟去，令曹彬速成深沟以自固，无堕其计中。」既成，吴兵果夜来袭，美率所部依新沟拒之，吴人大败。奏至，上笑曰：「果如此。」
长围中，彬每缓师，冀煜归服。十一月，彬又使人谕之曰：「事势如此，所惜者一城生聚，若能归命，策之上也。」城垂克，彬忽称疾不视事，诸将皆来问疾。彬曰：「余之疾非药石所能愈，惟须诸公诚心自誓，以克城之日，不妄杀一人，则自愈矣。」诸将许诺，共焚香为誓。明日，稍愈。又明日，城陷。煜与其臣百余人诣军门请罪，彬慰安之，待以宾礼，请煜入宫治装，彬以数骑待宫门外。左右密谓彬曰：「煜入或不测，奈何？」彬笑曰：「煜素忄耎无断，既已降，必不能自引决。」煜之君臣，卒赖保全。自出师至凯旋，士众畏服，无轻肆者。及入见，刺称「奉敕江南干事回」，其谦恭不伐如此。
初，彬之总师也，太祖谓曰：「俟克李煜，当以卿为使相。」副帅潘美预以为贺。彬曰：「不然，夫是行也，仗天威，遵庙谟，乃能成事，吾何功哉，况使相极品乎！」美曰：「何谓也？彬曰：「太原未平尔。」及还，献俘。上谓曰：「本授卿使相，然刘继元未下，姑少待之。」既闻此语，美窃视彬微笑。上觉，遽诘所以，美不敢隐，遂以实对。上亦大笑，乃赐彬钱二十万。彬退曰：「人生何必使相，好官亦不过多得钱尔。」未几，拜枢密使、检校太尉、忠武军节度使。
太宗即位，加同平章事。议征太原，召彬问曰：「周世宗及太祖皆亲征，何以不能克？」彬曰：「世宗时，史彦超败于石岭关，人情惊扰，故班师；太祖顿兵甘草地，会岁暑雨，军士多疾，因是中止。」太宗曰：「今吾欲北征，卿以为何如？」彬曰：「以国家兵甲精锐，剪太原之孤垒，如摧枯拉朽尔，何为而不可。」太宗意遂决。太平兴国三年，进检校太师，从征太原，加兼侍中。八年，为弭德超所诬，罢为天平军节度使。旬余，上悟其谮，进封鲁国公，待之愈厚。
雍熙三年，诏彬将幽州行营前军马步水陆之师，与潘美等北伐，分路进讨。三月，败契丹于固安，破涿州，戎人来援，大破之于城南。四月，又与米信破契丹于新城，斩首二百级。五月，战于岐沟关，诸军败绩，退屯易州，临易水而营。上闻，亟令分屯边城，追诸将归阙。