霍去病、卫青去世后，汉朝与匈奴的战争进入第二阶段，在长达三十余年的时间里，汉朝与匈奴开始在西域及周边进行争夺，公元前99年，贰师将军李广利率3万骑兵出酒泉，沿祁连山北进攻匈奴右贤王。
为了策应李广利的军事行动，汉武帝派骑都尉李陵率5000步卒为李广利运输辎重粮草，身为飞将军李广的孙子，李陵与其祖父李广一样有着宁愿上战场杀敌的满腔热血，也不愿干些运输的活，为此，李陵求见汉武帝说道：
臣所率领的屯边士兵，都是荆楚的勇士奇材剑客，力大可缚虎，射箭能中目标，希望独立带领一队独当一面，到兰干山南去吸引单于的兵力，不让匈奴集中兵力攻击贰师将军，请不要让我们只做贰师将军的运输队。臣愿以少击众，率领步兵五千人就可以开进单于王庭。
汉武帝看李陵勇气可嘉，便同意了他的请求，但是没有马匹给李陵，李陵这一支5000人的军队全部是步卒，而且都是荆楚地方的勇士与剑客，武力不同于普通士卒，汉武帝同时让强驽都尉路博德率军接应李陵。
李陵率领5000步卒出居延（今内蒙古额济纳旗东南），向北走了三十天，到达浚稽山（今蒙古国阿尔泰山脉中段）扎营，在浚稽山李陵遇到了匈奴单于，汉军5000步卒瞬间被匈奴3万骑兵团团包围。
汉兵在人数、后勤、援兵方面处于劣势，在战术、装备、军心方面处于优势，李陵并没有胆怯，而是迅速结阵布阵，准备对抗3万匈奴骑兵，李陵的做法是：以运输辎重的大车环绕结阵于两山之间，士兵在车阵之外排列成战阵，前排士卒手执长戟与盾牌防守，后排弓箭手持强弓硬弩严阵以待。
匈奴单于见汉兵少，又是步兵，于是发起了第一次冲锋，等敌军快要冲到阵前，李陵命令弓箭手攻击，一时之间千弩齐发，匈奴骑兵很多都中箭倒地，于是匈奴骑兵退走，汉军追击，斩杀数千敌兵。
匈奴单于大惊失色，想不到汉军战斗力如此之强，于是召集左、右地骑兵合计8万多人开始第二次攻击李陵，李陵率军边战边向南退却，到一山谷时，李陵让身上三处受伤的士兵坐在车上，让两处受伤的士兵驾驶车辆，让一处受伤的士兵手执武器作战，这一次攻击，李陵所率汉军斩杀匈奴骑兵3000余人。
为了鼓舞士气，李陵把藏在车中随行士兵的妻子全部搜出来杀掉，这些女人原本是关东盗贼的妻子，但全部被李陵所杀。
第二天，匈奴开始第三次进攻，汉军再次斩杀匈奴骑兵3000多人，同时李陵率军向东南退却，沿着龙城故道行军，四五天后到达大泽葭苇中，为了对付汉军，匈奴在上风处放火，想把汉军逼出来。
李陵很快也放火烧出隔离带以自救，并继续向南走，到达山下，匈奴单于派他的儿子率领骑兵攻击李陵，李陵的军队与匈奴骑兵在树林中作战，又杀死敌军几千人，并用连弩射击匈奴单于，单于退走。
汉匈两军已经交战数十回合，匈奴无法打败这支汉军，再加上匈奴怀疑汉军有诈，准备退兵，李陵率领的汉军一直在往走，匈奴单于怀疑汉军有援兵，故意把他引到包围圈，后来匈奴人抓到了汉军的俘虏，俘虏交待说：汉军没有援兵，而且50万只箭夭也快要用完了。
匈奴单于得知消息后，派人催促李陵与韩延年投降，汉军不肯投降，双方继续交战，汉军当时在峡谷之中，匈奴兵在山上，匈奴利用制高点向汉军射箭，汉军伤亡较大，原本五千人的部队，此时还有三千多人。
匈奴兵又断了汉军南归的退路，把汉军堵在山谷之中，然后从山上投下石头，此时的汉军无力再战，箭已经用完了，粮食也没了，前有追兵，后路被堵，无法再战，只能想办法突围而去，李陵与韩延年等将领分散突围，结果韩延年战死，李陵没脸回去见汉武帝，于是投降了匈奴。
浚稽山之战，五千汉军全军覆没，仅四百余人逃回汉朝边塞，在8天的时间里，汉军先后杀死杀伤匈奴兵一万余人。
从结果来看，汉军的战斗力明显强于匈奴，从双方的实力来看，匈奴骑兵数量是汉军的16倍而且匈奴是清一色的骑兵，机动能力超强，李陵是5000汉军，虽然有马有车，但机动能力完全不能跟匈奴相比，逃是没法逃得掉的，那么问题来了，汉军这次失败的真正原因在哪里？
1、军队没有协调好。
这次汉朝用来跟匈奴作战的军队实际上有三支，一是贰师将军李广利率领的3万骑兵，二是强弩都尉路博德及所率军队，三是李陵的五千荆楚步卒。
李广利是主力，李陵是策应部队，路博德也是策应部队，战争开打后，本是李广利担任主攻任务的，但李广利自顾不暇，在天山攻击匈奴右贤王，结果被匈奴人打得大败，军队损失十之六七。
而路博德从头到尾也没有出现过，三支军队之间的协调出现严重问题，而且三方相互不服对方，李陵不愿意为李广利运输辎重，路博德不愿意为李陵策应，羞于做其部下，反正就是各自为战，结果就是李陵大败。
2、李陵孤军深入。
李陵这一次进军明显就是孤军深入的行为，仅靠5000步卒根本无法跟匈奴对抗，匈奴全部是骑兵，光说机动性一项，汉军也是远远追不上，就算汉军打败匈奴军，也追不上人家。
更为重要的是，李陵没有任何军队的实际策应，完全靠一股热血在打仗，虽然在战术上，李陵颇有一套，以五千人杀死敌方一万人，值得了，但在战略上，李陵犯了严重错误，就是孤军深入，当步兵被骑兵包围时，战斗力再强也逃不掉的，这是李陵军全军覆没的主要原因。
匈奴可以源源不断地调来援兵，而李陵没有一兵一卒的支援，这仗完全没法打，失败在所难免。
3、李陵杀死随行士兵的妻子并不能提升士气。
李陵杀死随行士兵的妻子并不能提升士气，反而容易滋生叛徒，汉军原本有机会利用欺诈来逃走的，匈奴单于本就有意退兵了，结果叛徒出卖了李陵。
李陵跟他祖父李广真是有些类似，勇猛善战，但缺乏头脑，当年李广只带领一百骑兵遇到了匈奴数千骑兵，李广不仅不逃走，反而下马休息，故作轻松引诱敌方，还故意杀了敌方的白马将军，让敌方以为有埋伏，匈奴就不敢轻举妄动，李陵也可以学他祖父李广的办法，说不定能逃走了。
总结一下，卫青、霍去病之后，汉武帝对匈奴的战争是败多胜少，从浚稽山之战来看，汉军失败的主要原因是将领能力及与其他部队的协调能力问题，汉军打仗有点各自为战，没有卫青、霍去病那样的能力，几乎打不赢战争。
李陵是有血性的，但作为军中主将，光有血性是不够的，李广也很有血性，但很少打胜仗，卫青、霍去病打仗几乎都靠谋略与头脑，只是可惜那五千荆楚勇士，其战斗力明显强于匈奴，却只能葬身于茫茫草原之中，尸骨无存。
