兩年以後，李廣率領四千名騎兵從右北平出擊匈奴，而博望侯張騫則率領騎兵一萬人與他一起出征，兩軍異路行進，速度不一。推進了幾百里以後，李廣所部孤軍深入，被匈奴左賢王率領的四萬騎兵包圍，漢軍十分恐慌。為了穩定軍心，李廣派他的兒子李敢向敵軍出擊。李敢與手下幾十名騎兵直插入匈奴軍中，橫貫其左右兩翼以後平安歸來。李敢報告說，匈奴人很容易對付。這下，漢軍士兵安了心。李廣佈下了環形陣勢。匈奴人發動了猛攻，矢下如雨。漢軍死亡過半，弓箭也快要用光了。於是，李廣命令軍中士兵拉滿弓而不要發射震懾敵人，而他則親自用大黃弓射殺了好幾個匈奴的副將。此後，匈奴人才逐漸地散開、後退。時值黃昏，漢軍士兵們都面無人色，可是李廣卻神態自若，把軍隊更好地重組起來。從此，漢軍裡都十分佩服李廣的勇敢。第二天，漢軍又奮力作戰，此時，博望侯張騫的部隊也趕到了，匈奴軍隊便解圍撤走了。漢軍也很疲勞，不能追擊。李廣的軍隊幾乎全軍覆沒，於是，漢軍撤回塞內。根據漢朝法律，博望侯因行軍遲緩、延誤軍期應該被判處死刑，後來，他出錢贖罪，成為平民；李廣則功過相抵，沒有受到獎賞或處罰。
李廣算命
起初，李廣與他的堂弟李蔡一同侍奉孝文帝。景帝的時候，李蔡累積了功勞，做到了兩千石級別的官吏。漢武帝時期，李蔡又官至代國的國相。元朔五年，李蔡被任命為輕車將軍，跟隨大將軍衛青出擊匈奴，斬殺敵人的首級達到了封侯受賞所規定的數目，被封為樂安侯。元狩二年，李蔡取代公孫弘出任丞相。李蔡的為人與才幹比較低劣，名聲遠不及李廣，可是，李廣卻得不到封爵和封地，做官也超不過九卿，而李蔡卻被封侯，還位至三公。李廣麾下的軍官、士兵裡甚至都有人因功被封侯，每次遇到被封侯的部下，李廣都十分尷尬。這樣的境遇就延續了許多年，讓李廣很是苦惱，也十分不解。
有一次，李廣和星象家王朔私下裡閒談，他很鬱悶地說：「自從我朝攻打匈奴以來，我參加了歷次的大戰。各部隊校尉以下的軍官，才能頂多算得上中等，但是卻在與匈奴的作戰中立下軍功，因此被封為侯爵的竟然有幾十人。我李廣不比其他人差，但是卻得不到任何軍功，封不了侯，這是為什麼呢？難道我命該如此嗎？」王朔說：「將軍可以回憶一下，您可否做過什麼讓自己抱憾終生的事情嗎？」李廣回答說：「我做隴西太守的時候，有一次，羌人造反。我設計誘降了八百多個造反者，並且在一天之內把他們全部處死了。直到今天，我仍然覺得這是件讓我抱憾終生、分外後悔的事情。」王朔聽後，向李廣解釋說：「殺害已經投降的人會給自己帶來最大的災禍，所以您的命運多難不順啊，這就是您不能被封侯的原因。」
將軍之死
元狩四年，李廣以前將軍的身份參加了漢匈之間的大決戰，當時，他率部跟隨大將軍衛青出擊。漢軍從俘虜口中得知了單于駐紮的地點。於是，衛青決定親率部隊追擊單于，命令李廣的部隊與右將軍趙食其的軍隊合在一起，從東路迂迴包抄單于的據點。東路路程有些繞遠，而且大軍在這個缺少水草的地方，只能採取不停歇的行進方式。因此，李廣請求大將軍說：「我的職務是前將軍，而您卻命令我從東路出征。我與匈奴交戰很多年了，只是在現在才有一次攻擊單于的機會。所以，我希望您讓我打先鋒，和單于決一死戰。」
出征前，衛青私下裡受到天子的告誡。天子認為李廣曾先後五次率精兵參加反擊匈奴的作戰，應該說殺敵立功、晉爵封侯的機遇多多，可他不是無功而返，就是損師折將，根本沒有表現出「飛將軍」的風采。常言道：「一之為甚，其可再乎！」連續五次機會李廣都不曾把握住，現在年紀又大了，所以，不希望他與單于交鋒，擔心李廣的參戰會讓漢軍達不到預期的戰略目標。同時，衛青的好友公孫敖剛剛失去爵位，這次出征，他以中將軍的身份跟隨衛青。衛青自然想讓公孫敖與自己一道進擊單于，如果能立下戰功就可以再次被封侯。由於以上兩點原因，衛青調開了李廣。李廣得知事情的原因以後，堅決要求不與右將軍合軍，並向大將軍辭免。衛青沒有答應，讓他執行命令。李廣沒有向衛青辭行，很不高興地領命出發了。