四年以後，李廣再次由衛尉被任命為將軍，率軍從雁門出塞攻擊匈奴。匈奴倚仗著兵力的優勢打敗了李廣的軍隊，活捉了李廣。單于素來聽說李廣的才能，便命令部下務必把李廣活著押送回來。當時，李廣受了傷，匈奴人便在兩匹馬之間設置了一個大網兜，把李廣放在裡邊。行進了十餘里以後，李廣假裝死去。他斜視四周，看見旁邊的一名匈奴少年騎著一匹好馬。突然間，李廣飛身一躍，跳上了那個少年的馬，迅速地把少年推下馬並奪了他的弓，策馬向南狂奔。匈奴幾百名騎兵在他的身後緊追不捨，李廣一邊策馬奔跑一邊操弓回身射殺追兵，結果真的僥倖逃了出來。此後，李廣遇到了他的餘部，便率領他們返回了塞內。回到京城以後，朝廷把李廣交給相關的司法部門懲處。法官認為李廣所部沒有軍功，而損失又過大，他本人還被敵人活捉，把天朝將軍的臉面丟盡了，所以判處他死刑。後來，李廣出錢贖了死罪，成為平民。
飛將軍的性格
時光飛逝，轉眼間李廣已經在家裡閒居了好幾年。李廣隱居在藍田的南山裡，而前穎陰侯灌嬰的孫子，灌強一族也隱居在此，所以，他們常常在一起打獵。有一天晚上，李廣帶著一名隨從外出，和別人在田間飲酒。回來路過霸陵的時候，霸陵尉喝醉了酒，沒事找事，竟敢喝令李廣，並且不讓他通過關卡。李廣的隨從說：「這是前任的李將軍。」而霸陵尉卻說：「現任的將軍尚且不能在夜間通過關卡，更何況是前任的將軍！」無奈之下，李廣只能在亭鄣下邊將就一晚。不久以後，匈奴入侵漢朝邊郡，殺死了遼西太守、打敗了韓安國將軍，韓將軍被調到了右北平郡。於是，天子就重新起用李廣，並任命他為右北平太守。李廣就請求朝廷派霸陵尉和自己一同到右北平上任。結果，到了軍中，李廣就把霸陵尉殺掉了，報復他曾經侮辱自己的仇恨。
匈奴人聽說李廣被派來駐守右北平，都稱他是「飛將軍」，對他十分地敬畏，好幾年都不敢入侵右北平。有一次，李廣出去打獵，隱約看見草叢裡有一隻老虎。他立即搭弓放箭。目標被射中了，李廣便過去檢查。讓他大吃一驚的是，「老虎」竟然是一塊石頭，而且箭頭深深地射入了石頭裡，怎麼拔也拔不出來了。於是，他又向這塊石頭射了幾箭，卻始終不能再把箭射入石頭裡邊。以前，李廣聽說他所在的郡有老虎，便經常親自去射殺。到了他駐守右北平時，又去射虎。這次，老虎十分兇猛，垂死反擊，撲傷了李廣，但是李廣最終還是把老虎射死了。
為人與治軍
李廣為人廉潔，得到了賞賜就分給他的部下，和手下的士兵們吃一樣的食物。他一生裡，做了四十多年的兩千石俸祿的官職，而他的家裡卻沒有多餘的財產，將軍本人也始終不談論家產方面的事情。
將軍的個子很高，兩隻胳膊的長度竟然和猿猴的差不多，，十分靈活。他天生就十分善於射箭，即使他的子孫或向他學習的人，也沒有誰能比得上他。將軍口齒遲鈍，很少說話。和朋友們聚在一起時，他經常在地上用手指比畫，玩排兵佈陣的遊戲，他還玩一種射箭的遊戲，輸者要被罰酒，而後一種遊戲伴隨了將軍的一生。
他帶兵出戰，如果軍中在缺糧斷水幾天之後發現了水源，他手下的士兵們沒有全喝過，就滴水不沾；士兵們吃不上飯，他也陪著一起挨餓。他對士兵寬厚、和藹而不苛刻，因此，士兵們樂於為他效勞。將軍射箭的套路是，他看見敵人逼近，不到幾十步以內，估計射不中就不會發弓；而只要發弓，敵人就會即刻應弦而倒。所以，他的部隊在戰鬥裡曾經多次被敵人包圍，而他本人在射殺猛獸時也經常受傷。在這種戰法的指導下，李廣在戰術上靈活機智，有勇有謀，敢於打硬仗、打惡仗，射術之精堪稱一絕，威震匈奴各部，被匈奴畏譽為「飛將軍」。
浴血奮戰
郎中令石建去世以後，天子召見了李廣，讓他代替石建的職位。元朔六年，李廣又一次出任將軍，跟隨大將軍衛青，從定襄（今山西省境內）出塞攻擊匈奴。隨軍的將領們大多數都因為斬殺敵人的數量達到了規定的標準而被封侯，而李廣的軍隊卻沒有戰功。