段榮，字子茂，姑臧武威人氏。祖父段信，仕沮渠氏，後入魏朝，因豪族身份被遷徙回北方，依然定居在五原郡。父親連，安北府司馬。段榮少時喜好歷術，專攻星象。正光初年，對人說：「《易》云『觀察天文以測定時事的變遷』，又稱『上天顯示徵兆，人世出現吉凶』，今觀天象，察人事，不到十年，國家當有大亂。」有人問：「天象從哪個地方出現？可以躲避嗎？」段榮答：「造亂之源，此地為始，大概天下就要因此大亂，那是無法逃避的。」不長時間，果如其言。段榮遭亂，同鄉鄰朋友攜帶妻子，向南跑到平城。適值杜洛周作亂，段榮與高祖圖謀殺掉洛周，沒有成功，一塊投奔了爾朱榮。
後高祖在山東舉起義旗，段榮贊助促成了大計的籌謀。任行台右丞，西北道慰喻大使，巡察曉諭，所到之處，紛紛歸順高祖。高祖南行討鄴，留段榮鎮守信都，委任其為鎮北將軍、定州刺史。此時高祖雖然未能攻佔鄴城，但所需要的糧草給養，完全仰仗段榮的轉運輸送。高祖進洛陽後，論功行賞，封段榮姑臧縣侯，食邑八百戶。轉授瀛州刺史。段榮之妻，皇后的姊姊，榮擔心為高祖招致任人唯親的議論，一個勁地推薦他人，終於沒有赴任。不久，行相州刺史事，稍後，拜濟州刺史。天平三年(536)，轉行泰州刺史事。段榮性格溫和，在任職之地均推行仁政，因此深得民吏的敬愛。當初，高祖計劃進攻關右，同段榮密謀，卻沒有得到支持。在渭曲失利之後，高祖才後悔，說：「我不聽段榮的話，得到了這樣的結果。」四年(537)，拜山東大行台、大都督，甚得民心。元象元年(538)，授儀同三司。二年五月卒，年六十二。贈使持節、定冀滄瀛四州諸軍事、定州刺史、太尉、尚書左僕射，謚昭景。皇建初年，配享高祖廟。二年(561)，重贈大司馬、尚書令、武威王。長子段韶繼嗣。