武帝初年，继续实行文景之世对匈奴和亲的政策，“厚遇关市，饶给之。匈奴自单于以下皆亲汉，往来长城下。”元光二年（公元前133年），武帝采用雁门富豪聂壹计谋，命聂壹诈降，引诱匈奴攻取马邑城，汉埋伏三十余万大军准备一举消灭匈奴主力。匈奴单于以十万骑兵入塞，半途发觉有诈引还。从此以后，匈奴绝和亲，常常在边塞攻掠。但双方仍保持关市贸易。元光六年，武帝开始派军进攻匈奴，从此三十余年间，双方多次发生战争。其中关系最大的有三次战役。
元朔二年（公元前127年），匈奴入侵，汉遣卫青领兵从云中出击，北抵高阙，迂回至于陇西，夺回河套一带，解除了匈奴对长安的直接威胁。汉在那里设朔方郡，并重新修缮秦时所筑边塞。同年夏，汉朝廷募民十万口徙于朔方。次年，匈奴军臣单于死，弟左谷蠡王伊稚斜自立。右贤王数次侵拢边境，直至朔方。元朔五年，卫青攻右贤王，右贤王脱身走，于是汉朝在河套地区的阵地得以巩固，使匈奴再也无力从正面进攻关中一带。
元狩二年（公元前121年），武帝命霍去病将兵远征。霍去病自陇西出兵，过焉支山（今甘肃山丹县境），西入匈奴境内千余里。同年夏，霍去病由北地出击，逾居延海，南下祁连山。这次战役，沉重地打击了匈奴右部，匈奴浑邪王杀休屠王，率部四万余人归汉。汉分徙其众于西北边塞之外，因其故俗为王属国。后又迁徙关东贫民七十二万余口，充实陇西、北地、西河、上郡之地。西汉朝廷又在浑邪王、休屠王故地陆续设立酒泉、武威、张掖、敦煌四郡。汉得河西四郡地，不但隔断了匈奴与羌人的联系，而且沟通了内地与西域的直接交通，对于西汉和匈奴势力的消长发生了显著作用。
元狩四年（公元前119年），汉发骑兵十万，“私负从马凡十四万匹”，令卫青、霍去病率军远攻，分别从定襄、代郡出击，预约会师绝漠。匈奴单于以精兵待漠北，被卫青击败，遁走。卫青北至寘颜山赵信城。霍去病出代二千余里，封狼居胥山，临瀚海而还。这次战役以后，匈奴主力向西远徙，“漠南无王庭”。汉军占领了自朔方以西至张掖、居延海的大片土地，开渠屯田，“置田官，吏卒五六万人”，保障了河西地区的安全。汉军在这次战役中获胜，而本身也遭受惨重损失，士卒死亡以万计，马死十余万匹。元封、《汉书•匈奴传》上。
太初以后至武帝末年，汉同匈奴虽然还发生过不少战争，但其规模和影响都小得多。至太初三年（公元前102年），汉朝令光禄徐自为出五原塞数百里，远者千里，筑城障列亭至卢朐，又令强弩都尉路博德在居延泽边筑障塞。此年秋，匈奴军大入定襄、云中，尽毁徐自为所筑城障，又至酒泉、张掖袭扰。天汉年间，汉连续派军出击，均不甚利。至征和三年（公元前90年），派贰师将军李广利率大军出塞，军败，投降匈奴，汉军士卒死亡数万，此后汉不复出兵。
西汉朝廷对匈奴的战争，使汉初以来北方农业地区所受到的威胁，基本解除。从此，边郡与内地的联系大大加强。大量的移民和戍卒、屯田兵，在荒漠的原野上开辟耕地，垦殖发展。中原的生产技术和先进文化在边地传播开来。从令居（今甘肃永登境）西至敦煌，修起了屏蔽河西走廊的长城，敦煌以西至盐泽（罗布泊），也修起了亭燧。屯田区、城堡和烽燧，是西汉在北方边境的政治、军事据点，也是先进经济、先进文化的传播站，它们对于匈奴以及其他相邻各游牧民族社会的发展，起着一定的影响。
