公元196年，安定了许都的曹操考虑着下一步的进攻方向。此时，曹操控制汉献帝，拥有豫州、兖州，全国其他各地的诸侯分别是∶袁绍拥有冀州，兼控制青州、并州；公孙瓒控制幽州；公孙度控制辽东；刘璋拥有益州；吕布控制徐州；袁术控制淮南；孙策控制江东一部；刘表控制荆州；关西诸将马腾、韩遂、李傕等人控制凉州、京兆尹；张鲁占据汉中。
从战略态势上看，曹操位居中原，处于四战之地，稍有闪失，就会陷于四面受敌的险境，好在是∶一是曹操控制着汉献帝，处于挟天子以令诸侯的有利地位，可以利用汉献帝以实现自己的政治目的。在将汉献帝迎入许都之初，曹操对汉献帝的态度一直非常谦恭，不遗余力地向汉献帝表示自己的忠心。二是起码从表面上还维系着与袁绍的和平关系。三是淮南袁术、吕布和刘备之间还在相互倾轧。
原本曹操打算先解决了徐州吕布，但很快事态就发生了变化。
张济原本驻扎在弘农，军中断粮，遂率军南下，进入荆州地区。在进攻穰城（今河南省邓州市）的战斗中，张济被流箭射杀。荆州官员听说张济死后，纷纷道贺，刘表说道∶“张济走投无路前来投靠，穰城守将不懂礼仪，竟至于发生了战斗，这不是我的本意，我只接受吊唁，不接受道贺。”派人前去张济军中安抚。张济的部众听说后，都十分高兴，打心眼里愿意归顺刘表。张济的同族侄儿、建忠将军张绣接替张济统领部众，驻扎在南阳。
当初，汉献帝离开长安后，宣威将军贾诩送还印绶，依附于华阴的段煨。贾诩名气很大，段煨的部众都对他非常敬重，段煨也因之对他很是礼遇，可是，贾诩暗中打算投奔张绣。有人对他说∶“段大人对你很厚待，你还能去哪呢?”贾诩回答∶“段煨生性多疑，有猜忌我的苗头，虽然对我很是礼遇，但难以持久，恐怕会杀掉我。我离去之后，他内心肯定会很高兴，又希望我能替他结来外援，一定会厚待我的妻子儿女；张绣没有幕僚，也希望能得到我的帮助，这样一来，我自己和我的家人都会安全了。”贾诩遂离开了段煨，前去南阳，投奔了张绣，果然，在贾诩面前，张绣以晚辈自居，而段煨也对贾诩的妻子儿女非常照顾。
贾诩劝说张绣投靠刘表，张绣同意了。贾诩遂亲自前往襄阳拜见刘表，刘表以贵宾之礼接待了贾诩。然而，贾诩回来后，非常失望，他说∶“刘表是承平治世中三公的材料，却看不出事态的发展变化，多疑少决，没有什么作为!”刘表爱护百姓，尊重士人，只想保境安民，因此，关西、兖州、豫州依附于他的士人多达上千人。刘表还下令设立学校，整日研究经书，又命前雅乐郎杜夔制作雅乐。等到雅乐制成后，刘表想让杜夔当众演奏，杜夔却说∶“如今，将军您的称号不是天子，当众演奏雅乐，不是不合适吗?”刘表这才作罢。
张绣在南阳，背后又有刘表的支持，这让曹操非常担心，因此，他决定先解决了近在咫尺的张绣。建安二年（公元197年）一月，曹操亲自率军南下，前去讨伐张绣，曹军来到淯水（今河南省南阳市白河），张绣即率众投降了。
不战而收降了张绣，曹操大喜过望，设宴款待张绣及其将帅们。曹操将张济的妻子（张绣婶母）纳为自己的夫人，这引起了张绣的怨恨。曹操听说后，遂生杀掉张绣之心。曹操试图拉拢张绣的心腹猛将胡车儿，亲手送给胡车儿金子，张绣得知后，怀疑曹操想让胡车儿刺杀自己，遂决心反叛。他听从了贾诩之计，对曹操谎称军营地处低洼，请求移到高处。曹操信以为真，就同意了。张绣的行军路线恰巧经过曹操的大营，在接近曹操大营后，张绣一声令下，士兵们突然从车上拿起武器，冲入曹操营中。
毫无防备的曹操被打得晕头转向，身中流箭。《魏书》称∶“公所乘马名绝影，为流矢所中，伤颊及足，并中公右臂。”在危急关头，曹操的长子曹昂将自己的马交给了曹操，曹操骑马狼狈而逃，而曹昂却为乱兵所杀，一齐被杀的还有曹操的侄儿曹安民。校尉典韦手持长戟挡在营门前，殊死力战，一戟扫去，总要砍断数十杆长矛。张绣的士兵们只好从其他营门冲进了军营。典韦与身边十余名猛士无不以一当十，杀伤了很多敌人，逐渐地，典韦身边的人几乎全战死了，典韦本人也身中数十枪，长戟也打折了。双方短兵相接，敌人直接冲上前来，只见典韦双手各夹住一名敌人，将二人撞死，余人吓得不敢再近前。典韦又冲上前去，接连杀死了几个人后，圆睁双眼，破口大骂而死。
曹操逃到舞阴（今河南省泌阳县西北六十里）。张绣率军追击，被曹操击破，张绣遂回到了穰城，再度与刘表联合。
淯水之败，对曹操的打击很大。
首先，打乱了曹操的部署。曹操之所以将张绣作为首先进攻的目的，就在于张绣实力较弱，且刚刚来到南阳，立足未稳；还在于他与荆州牧刘表之间的联盟刚刚建立，况且，张济、张绣集团作为董卓的余孽，曹操也师出有名。令曹操欣喜异常的是，张绣不战而降，曹操不费吹灰之力就将手伸到了荆州刘表的地盘，既扩大了战略纵深，又壮大了自己的实力。可是，乐极生悲，得意忘形的曹操因纳张绣的婶婶而激怒了张绣，不仅将曹操打得惨败，而且又强化了张绣与刘表之间的关系，让曹操在南方平添了一个劲敌。
其次，此次战败让曹操脸面尽失。回顾曹操此前的一系列军事行动，汴水惨败是由于众寡不敌；徐州退却是因为吕布偷袭；其他战役击破黑山贼、收编黄巾军、打垮袁术、夺回兖州、挺进豫州，曹操一直是用兵如神，可是，恰恰在南阳，曹操栽在张绣的手里，猛将典韦、长子曹昂、侄儿曹安民均死于乱军之中，曹操本人也差一点丢了性命。
第三，曹操在许都朝廷中的地位受到一定程度的动摇。根据《世语》记载∶“旧制，三公领兵入见，皆交戟叉颈而前。”也就是说，按照汉朝的规矩，三公率军入宫觐见皇帝时，由宫廷侍卫手持长戟夹着三公的脖子，才能觐见。虽然曹操在汉献帝来到许都以后，极力表现自己的忠心，但汉献帝似乎并不买账，只是想借助于曹操恢复王室的尊严。曹操在讨伐张绣出征时，汉献帝下令恢复了这一传统的制度，吓得曹操一身冷汗。从此之后，曹操再也不去拜见汉献帝了。
此次战败后，袁绍也对曹操的态度更加傲慢了，在信中，对曹操是冷嘲热讽。数日之内，又羞又气的曹操喜怒无常，完全变了一个人。
