少時的段祺瑞對讀書不感興趣，而醉心於舞槍弄棒，常將「我不喜歡讀書，我要當兵」掛在嘴邊。後來，這句話果然成真。1879年，段祺瑞的祖父去世。14歲的段祺瑞失去了生活中的靠山，由於他是長子，下面還有一妹兩弟，生活甚為窘迫。1882年，他決心去威海投奔在軍中做管帶的族叔段從德，但車馬川資全無所出，於是僅帶了一元銀洋，步行2000餘里，跋涉到了威海。段從德安排他在營中做司書，段祺瑞從此開始了佩劍戎裝的生涯。後來，他常對子女講起這段艱難往事，不無得意地自稱「一元錢起家」。
1885年，李鴻章在天津紫竹林創辦了武備學堂，擬從淮軍士官兵弁中選拔生員。段祺瑞沒有放過這個機會，他一考而中，成為第一期預備生，進入炮兵科。天津武備學堂以「中學為體，西學為用」為立學理念，不僅有西式的兵法、地利、軍器、炮法、算法、測繪等課程，也有傳統的經史教育。段祺瑞全力以赴，學習極其刻苦，成為炮科一等一的好學生。
有一次，學堂購自德國的一門管退炮的瞄準器壞了，無人會修，最終是段祺瑞解決了這個難題，還畫出了圖紙，他因此受到了校方的重視。李鴻章對自己親手創辦的北洋武備學堂十分重視，經常去學堂視事。一天下午進行炮科實彈演練，但是天公不作美，下起了雨，海面上風力達到四級，海上活動靶隨著濁浪時隱時現，演練難度增強了好幾倍。要在平時，遇上這樣的天氣，演練就取消了，然而李鴻章已經在山頂上臨時搭起的觀操棚內就座。學員們憚於天氣惡劣，嘀咕著要求改期。教習也感到沒有把握，於是一位管帶硬著頭皮見李鴻章，請求演練改期。儘管風雨交加，李鴻章卻興致勃勃，他一手拿起望遠鏡，瞄準靶場，對管帶說：「一點小雨，何足掛齒？趕緊開始吧！」演練只好按時開始。
果然不出所料，演練成績十分糟糕。開始射擊的幾門炮有的連靶邊都沒挨到。李鴻章的臉色彷彿天色一樣黯淡下來，官員們也忐忑不安。接下去的幾炮還是不成，李鴻章驀地扔掉望遠鏡，站了起來，官員們臉色大變。眼看著李大人要怒氣沖沖地離開觀操棚，忽然聽到有人喊：「打中了！打中了！」隨後喝彩聲不斷。隨從趕緊把望遠鏡遞給李鴻章，李鴻章順著炮聲望去，這名炮手果然不凡，三發三中。演練結束後，李鴻章傳話要見這名炮手。不久，一個結結實實的青年走了上來。「你叫什麼名字呀？」「學生段祺瑞。」「哪裡人呀？」「學生是合肥人。」聽到段祺瑞是自己的老鄉，不僅是安徽人，而且還是合肥人，李鴻章更加注意了。後來又得知段祺瑞祖父段佩和族叔均為淮軍將領，祖父又曾隨李鴻章剿過捻軍，李鴻章對這個舊部子弟愈發有好感了。1887年，段祺瑞以最優等的成績畢業。李鴻章在給朝廷的奏折中讚揚段祺瑞：「各項操法，一律嫻熟，試以炮台工程做法及測繪，無不洞悉要領……」
1889年，清政府擬選拔五個人去德國學習軍事。當名單送至李鴻章手裡時，李鴻章皺了皺眉，因為名單上五個人有三個是山東籍的，安徽籍的才兩人。於是他想到了武備學堂畢業的段祺瑞，將大筆一揮，劃去了名單上的一人，把段祺瑞列在名單之首。1889年春天，段祺瑞來到德國柏林陸軍學院，學習軍事理論和各種操練課程。一年後，他們又奉命到魯爾區埃森克虜伯兵工廠，進行火炮實習。克虜伯家族各種威力巨大的先進火炮，讓他們真正感受到「師夷長技」的魅力。1890年，清廷特使洪春代表皇帝前往德國埃森探望留學生。段祺瑞及其同學以嫻熟的技術操演了各種口徑的克虜伯大炮，獲得弗裡茨·克虜伯的讚賞。段祺瑞和他的同學完成了學業之後，李鴻章又特批這位小同鄉一人留在德國克虜伯炮廠學習彈殼加工、炮管膛削、銑磨來福線、灌注優質鋼、檢驗鋼材拉力、擠壓力試驗、各類火炮的型制構造、使用和保養等課程。李鴻章先後兩次寫信給段祺瑞，勉勵他精學苦造，對段給予了很高的期許。
「中國近代第一炮兵司令」
甲午戰爭，使李鴻章慘淡經營多年的北洋海軍遭到了覆滅，淮軍和湘軍也一敗塗地，清軍的腐敗無能暴露無遺。一時朝野上下要求改革軍隊的呼聲一浪高過一浪。在內憂外患和各方面的壓力下，清政府迫於形勢，決定改革軍事制度、建立新型陸軍。1895年，袁世凱奉旨練兵於天津小站，廣招賢良，選拔標準是「宿將及有根底之學生」，如段祺瑞與姜桂題、楊榮泰、龔元友、曹錕、張勳、段芝貴等，皆雲集麾下。他們當中許多人日後都成為民國的風雲人物，而當時最出類拔萃的，還數北洋三傑，即王士珍、段祺瑞、馮國璋，段被稱作北洋之「虎」。
段祺瑞在小站任炮營統帶，兼隨營學堂總監，麾下雖只有不足兩千名炮兵，不足一百門炮，卻是中國第一支裝備正規的炮兵部隊，他也因此被稱為「中國近代第一炮兵司令」。除了炮兵部隊的常務工作外，他還從事了建章建制的重要工作，如《編練章程》、《戰法操典》、《訓練操法詳晰圖說》等，大多出自他的手筆。此外，段祺瑞治軍十分嚴格。一次他的一個老鄉有違軍令，輾轉托袁世凱向段祺瑞說情，他厲聲駁回道：「此人是我同鄉，我若放縱了他，今後將何以服眾呢？」袁世凱由此對他更加愛重，似在王士珍和馮國璋之上。1901年11月，經袁世凱保奏，段祺瑞升為補用知府，並加三品銜，同時兼充武衛右軍各學堂總辦、炮兵統帶(團長)。此後，段祺瑞步步緊跟袁世凱，幫他帶兵、練兵，鎮壓農民起義，同革命黨鬥爭，協助袁登上總統寶座。