张绣是凉州军阀、骠骑将军张济的侄儿。公元192年，董卓被吕布袭杀后，张济与李傕、郭汜等人率凉州军南攻长安，意欲为董卓复仇。张绣随张济南下，凭战功被擢升为建威将军，封宣威侯。
196年，张济率凉州兵南伐荆州，攻穰城（今河南邓州）时中流矢伤重而死。侄儿张绣接管了叔父张济的军队，屯驻于宛城（今南阳），与荆州牧刘表结盟。
东汉献帝建安二年（公元197年），时任司空行车骑将军事的权臣曹操率军讨伐盘踞宛城（南阳）的军阀张绣。
曹操率军进至淯水（今豫、鄂交界处的唐白河），张绣见其势大，料不能敌，便率众来降。曹操接纳张绣归降后，待其甚厚。
一日，曹操偶见张绣寡居的婶娘邹氏姿色出众，便忘乎所以，上前撩拨，旋即把邹氏据为己有。邹氏本是张济之妻，张绣婶母，虽已徐娘半老，但风韵犹存，特别符合曹操喜欢熟女的审美意趣，于是便强纳为妾。彼时曹操早已妻妾成群，但仍不知靥足，到处沾花惹草。
张绣兵败被迫投降，本就不太甘心，如今曹操居然强行霸占了自己的婶婶，他更是感觉耻辱，愤恨至极，遂铤而走险，召集旧部夜袭曹操的中军大营。因事起突然，曹军猝不及防，被打了个措手不及，曹操亦被流矢击伤，多亏曹军悍将、校尉典韦带十几个勇士拼死护主，格挡蜂拥而至的叛军，死战不退，掩护曹操冲出营门，一直逃到舞阴（今河南沁阳）方才化险为夷。
混战中，典韦击杀十余叛军，自己也身负数十处创伤，最终力战而死 。十几位勇士也先后战死。曹操的长子曹昂、侄儿曹安民均被乱军所杀，张绣则率部追杀曹操，一路紧追不舍，一直追到舞阴方才悻悻而返。之后，张绣军屯驻穰城（今邓州）。
次年（198年），曹操再次率军围攻张绣军占据的穰城，张绣率军抵抗，曹军久攻不克，遂撤走。
官渡之战爆发后，曹操与袁绍对峙，张绣采纳谋士贾诩建议 ，再次率部降曹。按理说，爱子曹昂、侄儿安民、爱将典韦均死于张绣之手，曹操与他有血海深仇，不仅不会接纳他，反而会乘机杀之以报仇。可曹操不是一般人，胸襟恢阔，加上彼时与实力强大的袁绍鏖战对决，鹿死谁手尚难预料，急需生力军加入，所以张绣率众来降，他不计前嫌，欣然接纳。《三国志·魏书· 张绣传 》记载：
张绣第二次归降后，曹操既往不咎，不仅热情款待，还拜为扬武将军，并和他结为儿女亲家。张绣在官渡之战中颇出死力，数战有功，迅速升迁为破羌将军。后随曹操攻灭袁谭，增食邑两千户，赏赐大大优于诸将。
后随曹操北征乌桓（北方游牧民族，东胡别支，与鲜卑同源）柳城（今辽宁朝阳）， 病逝于半道上，追谥曰定侯。
关于张绣的最终结局， 《魏略》还有另一种说法：
五官将曹丕对长兄曹昂死于张绣之手耿耿于怀，暗恨张绣，常思报复 ，就寻机当众斥责他说：“你杀了我的兄长，还有何脸面见人呢”！张绣听后心中惊惧不安，回去后就自杀而死。
张绣死后，其子张泉承袭了他的官爵，后来也被曹丕所杀。
