李陵能令匈奴以一國之力與他五千士卒死戰，其驍勇之處實在過於其祖。李陵投降以後，單于久聞他們家的名聲，而李陵在這次戰鬥中又十分地勇猛，所以很欣賞他，如獲至寶，就把自己的女兒嫁給了李陵，賜給了他尊貴的地位。具有諷刺意味的是，漢朝沒有給李家俊傑們什麼豐厚的賞賜，相反只有輕視和屈辱、刻薄毖恩，到了敵人那裡卻被看成了黃金。漢武帝聽說了李陵投降匈奴人的消息以後，就把李氏一門全部抄斬了。從此，李家的名聲徹底敗落，曾經做過李家賓客的隴西人士無不以此為辱。「昨朝錦上添花客，今日落井下石人」，官場如此。這時只有並算不得李陵至交的太史令司馬遷出來，為他說了幾句話，結果還觸怒了武帝竟遭到了腐刑的奇恥大辱。看到自己家破人亡，身敗名裂，李陵只能忍痛與漢室徹底訣別了。
出身貧賤
大將軍衛青是平陽縣（今山西省臨汾市西南）人。他的父親叫鄭季，是一個小辟吏，被派到平陽侯曹壽家裡做事，其間，他與平陽侯的小妾衛媼私通，生下了衛青。衛青的同母哥哥叫衛長子。此外，衛媼還生有三女兩兒，大女兒叫衛孺，二女兒叫衛少兒，三女兒叫衛子夫，而衛子夫還有兩個同母弟弟，叫衛步、衛廣。衛子夫原本是平陽公主家裡的歌伎，後來得到了漢武帝劉徹的寵幸，成為了皇后。
少年時候的衛青，是平陽侯家裡的僕人。他在小時候，曾經回到父親家裡，而鄭季卻讓他放羊；父親妻子所生的兒子都把他當做奴隸對待，根本就不把他當兄弟看待。
衛青曾經跟隨別人進入到甘泉宮的居室裡。有一個脖子上套著鐵圈的犯人給他相面說：「你有貴人之相，能夠做高官甚至封侯。」衛青笑著說：「我是人家的奴婢所生的野種，能夠不受打罵就很滿足了，怎麼可能有做官、封侯的美事呢？」
時來運轉
衛青長大以後，不願再受鄭家的奴役，便回到母親身邊。平陽公主看到衛青已長成了一個相貌堂堂的彪形大漢，非常喜歡，就讓他做了自己的騎奴。每當公主出行，衛青即騎馬相隨。雖然沒有一官半職，但與在鄭家時的情景相比已是天壤之別。衛青聰明好學，漸漸學到了一些文化知識，懂得了一些上層禮節。他怨恨鄭家對他沒有一點兒親情，決定冒姓為衛，完全與鄭家斷絕關係。平陽公主原號陽信長公主，是漢武帝的姐姐，因嫁與平陽侯曹壽（漢初名臣曹參之曾孫）為妻，所以也稱平陽公主。
漢武帝建元二年的春天，衛青的姐姐衛子夫得到了劉徹的寵幸，被召進皇宮裡。劉徹的皇后是大長公主（先帝的姐妹）劉嫖的女兒，沒有能夠生下皇子，長期受到劉徹的冷落，因此，嫉妒心很強。大長公主聽說衛子夫受到了寵幸而且有了身孕，非常地嫉妒她，於是，就派人去逮捕衛青出口惡氣。當時，衛青在建章宮當差，還沒有什麼名氣。大長公主很容易捉拿、拘禁了衛青，並且打算殺死他。騎郎公孫敖是衛青的好朋友，他和一些壯士硬是把衛青救了出來，衛青總算是逃過一劫。
劉徹聽說了這件事，就召見了衛青，任命他為建章監，加侍中官銜，甚至他的同母兄弟們都跟著發達了起來；衛家得到的賞賜，短短幾天之內就累積到了千金。後來，衛孺做了太僕公孫賀的妻子；而衛少兒以前曾經與陳掌私通，於是，劉徹召見了陳掌，讓他也成為顯貴。公孫敖因為衛青的緣故也越發地富貴。當衛子夫做了劉徹的夫人以後，衛青則被任命為太中大夫。一人得道，雞犬升天。衛氏家族迅速成了一門顯族。
建功封侯
元光五年，衛青被任命為車騎將軍，率軍從上谷出塞攻打匈奴；而太僕公孫賀、太中大夫公孫敖、衛尉李廣所部也同時分路進擊。每支軍隊各有騎兵一萬人。此役，衛青率部到達了匈奴祭天祭祖的聖地龍城，斬殺了數百個敵人。而公孫敖、公孫賀所部沒有取得任何戰果卻損失了七千騎兵；李廣所部全軍覆沒，李廣本人也被俘，後逃脫了回來。他們兩人按照漢律應被處以死刑，但是朝廷允許他們出錢贖罪，成為平民。這是衛青為漢朝立下的第一功，相比其他將領的表現，衛青此次的戰功可以說是可圈可點的。