李世民手下有二十五員大將，首將竟是李元吉，可見老四還是有些本事的。正因如此，李淵才會在起兵之後，任命他為晉陽留守，將看守老巢的任務交給他。
這個老四有兩大愛好：一是打仗，將手下分成兩幫真刀真槍地玩打仗的遊戲，他卻坐在一旁看熱鬧；二是打獵，趕著馬車在百姓的田地裡狩獵，或在大街上亂箭射人。
李元吉逐漸失去河東民心，就給另一個人有機可乘，他就是雄踞代北(山西代縣以北)的劉武周。劉武周稱突厥可汗為「乾爹」，在「乾爹」的支持下，伺機南下奪取晉陽，割據河東(山西)。
619年3月，劉武周的大將宋金剛親率五萬大軍南下，迅速將晉陽以南的榆次、介休兩城攻下，然後北返圍攻晉陽，這樣就切斷了晉陽守軍的退路。
可見，宋金剛也飛等閒之輩。
兵臨城下，自稱最愛打仗的李老四看著城外密密麻麻的大軍，也被嚇得夠嗆的，立即派人向長安的老爸求救。李淵也不敢怠慢，當然他不是愛惜李老四的性命，而是害怕自己的老巢被一鍋端了，隨即命尚書右僕射裴寂率八萬大軍救援。
這個裴寂只能說搞政治有一套，帶兵打仗還不是那塊料。果然，一仗就被宋金剛打得落花流水，向南逃入晉州城(山西臨汾)，再也不亮相了。
一聽裴寂八萬援軍全軍覆沒，李老四再也不淡定了。9月的一個夜晚，他偷偷率領精銳部隊保護著自己的妻妾向長安逃去，放棄了晉陽城。城內守軍見主帥跑了，哪裡還有心思打仗，全都開城投降，堅固的晉陽失守。
打了大勝仗的老宋繼續南下，繼續攻克晉州、絳州、澮州等地，直指關中門戶潼關。
數月間，本來就不大的李唐江山就被老宋攻下了大半，李淵哪裡還能坐得住？連忙寫信給秦王李世民徵求建議，說：「劉武周兵鋒太盛，我軍很難與之相爭。不如放棄河東，嚴守關中。」
當時正在長春宮(陝西大荔) 密切關注河東戰局的李世民，回信說：「晉陽城池堅固，屯有十年的軍糧;河東物產豐富，每年供給京城無數的糧食;況且這裡是大唐的發祥之地，更不能丟失。我定當殲滅劉武周，收復河東失地。」
李淵看到二兒子的信後，一顆懸著的心才放下來，隨即下令關中所有軍隊在長春宮集合，受李世民統領，前往河東收復失地。