暫時的碰壁並沒有對張作霖的雄心壯志造成任何影響。在參謀長楊宇霆的輔佐和推動下，他開始不安於東北，一心向關內發展勢力。
張作霖帳下幕僚人員，多為趙爾巽、袁金鎧所推薦，楊宇霆並不在其列，可以說是張作霖所一手識拔。就在張作霖擔任二十七師師長時，有一天他在街上看到一支隊伍，見其軍容整齊，風紀嚴肅，頗為詫異。因為當時由巡防營改編的部隊主體是「鬍子」，紀律很散漫，原來的新軍又都調走了。
張作霖疑心是日本軍隊，後來一問才知道是軍械廠的衛隊連，而對他們進行訓練的正是時任軍械廠廠長的楊宇霆。說起來，楊宇霆之前其實與張作霖也有過一面之緣——還在張作霖擔任師長的前幾個月，曾宴請路過奉天的黑龍江省軍方代表團。楊宇霆是代表團成員劉德權的士官同學，他和另外幾個同學曾相約去看劉德權。因為當時風聞張作霖最恨留學生，所以他們曾有意避開張作霖，沒想到張作霖很看重士官生，特地通過劉德權轉告楊宇霆等人，說要起用他們到重新開辦的奉天講武堂當教員。
幾個月過後，當張作霖看到部隊也可以被一個士官生訓練得如此之好時，他的想法有所改變，於是便把楊宇霆找到師部詳談。楊宇霆從劉德權那裡知道了張作霖對士官生的真實態度，亦有心投效，交談過程中，他口齒伶俐，對答如流，且態度謙恭有禮。張作霖很欣賞他，遂將其調到二十七師擔任參謀長。
楊宇霆少時即有過目成誦之才，記憶力十分驚人，他十歲時入私塾讀書，很快就能背誦和理解《百家姓》《三字經》《千字文》一類的啟蒙書，其表現出的早慧能力令塾師都感到教他吃力。
楊宇霆人既聰穎，還刻苦好學，第一次參加科考就考中了秀才。可惜的是，那是末科秀才，也即清廷廢除科舉之前的最後一批秀才。科舉一廢除，楊宇霆就無法再像趙爾巽那樣學而優則仕了。好在天無絕人之路，第二年奉天中學堂招生，楊宇霆便考入中學堂當了插班生。
時值中央政府準備選送一批學生去日本陸軍士官學校進行學習，擔任盛京將軍的趙爾巽決定由奉天中學堂選送幾名。當時挑選學生主要是測驗外語，輪到楊宇霆時，他當場就把外語課本《華英初階》從頭至尾背了一遍，考員很是驚詫，楊宇霆得以成功錄取。
到東京後，楊宇霆入士官學校第八期炮兵科學習。對於一個常年讀古書的人來說，這意味著所有的學習環境和內容都被改變，初學入門階段是很困難的。楊宇霆性格爭取好勝，越困難越不肯服輸，為了練習馬術，他曾在半夜裡偷偷地潛入馬廄，想把馬拉出來進行練習，但他不知道受過訓練的軍馬是輕易不出馬廄的，結果他不但沒能把馬拉出來，右腿還被馬給咬傷了。半夜拉馬是違紀之舉，楊宇霆即便受傷也不敢言語。士官生每月要檢查一次身體，結果檢查時才發現咬傷處已經潰爛，楊宇霆因此還挨了處分。
就讀士官學校期間，楊宇霆每期考試都名列前茅。幾年後畢業回國，正趕上趙爾巽第二次來奉天任東三省總督。當初他們這批留學生出國前，趙爾巽曾予以接見，當時楊宇霆代表全體留學生致答謝詞，趙爾巽對楊宇霆的儀表及其發言時所表現出的激情很滿意，所以在他們回國時，又再次接見了他們。
趙爾巽的重視，為楊宇霆等人回國就業打下了基礎。楊宇霆先是被分配至吉林孟恩遠部當見習排長，民國建立後升任營長，不久又調東三省都督府任軍械科長兼軍械廠廠長。他治軍嚴格，經常在深夜搞緊急集合，士兵站好隊後，他總要從中挑出不穿襪子的人，當場進行處罰。有一次他外出歸來，哨兵聽到是他的聲音，未問口令就迅速開門放人，想不到他勃然大怒，厲聲訓斥道：「進門要問口令是一再宣傳的軍令，你竟敢不遵守，倘若敵人模仿我的聲音，你把他們放進門來，軍械廠就被斷送了！」
在邀楊宇霆入幕之前，張作霖對自己的部隊並不滿意，經常說：「目前的軍隊，我雖然可以統一指揮，但官兵良莠不齊，很多軍官是行伍出身，沒有文化，甚至還有敗壞軍紀，擾民害民的情形。」如其所言，奉軍中軍紀敗壞的現象確實很普遍，即便是張作霖嫡系的二十七師也是這樣，該師的老底子是張作霖在八角台建立的「保險隊」，從沒經過正規訓練，紀律相當散漫。
在被張作霖任命為二十七師參謀長後，楊宇霆沿用訓練軍械廠衛隊連的做法，首先對二十七師進行了改造。經過一段時間的訓練和整頓，二十七師等部隊開始變得規範整齊，軍容煥然一新。
對楊宇霆整頓奉軍之功，東北各界向有公論。張作霖的幕僚之一、「日本通」於沖漢寫道：「棘門霸上如兒戲，我識將軍未遇時。」此句典故出自《史記》中所記載的周亞夫故事：匈奴進犯北部邊境，漢文帝急調三名大將率三路兵到長安附近進行防禦，其中劉禮屯兵霸上，徐厲屯兵棘門，周亞夫屯兵細柳。為鼓舞士氣，文帝親自到三路軍隊犒勞慰問，他到霸上、棘門時，兩處軍營都不用通報便主動放行，只有細柳營非得使者拿出天子符節才肯打開寨門，而且周亞夫在迎接文帝時，仍穿一身戎裝，以軍禮相見。文帝感慨萬千地稱讚周亞夫：「此真將軍矣！」他說霸上和棘門的軍隊簡直都是小孩子玩家家，倘若遭到匈奴偷襲，恐怕劉禮、徐厲這兩位將軍都會束手就擒。
於沖漢的意思是說，張作霖在未遇到楊宇霆之前，奉軍和霸上、棘門的軍隊也沒什麼兩樣，都是兒童嬉戲，哪裡能放到正規戰場上去打仗？然而自從遇到楊宇霆，奉軍就好像周亞夫的細柳營一樣，別的不說，起碼可以拿到戰場上去練練了。張作霖當然也看到了這一點，曾很感慨地對左右說：「我們武人不懂政治，要想國富民強，必須選用人才，特別是行政部門。就是軍隊，我們也需要請人才。」
對楊宇霆，張作霖由賞識發展到信任，並漸漸倚之為軍中須臾不可缺少的左右手，在執掌奉天大權後，即升任其為奉天督軍署參謀長。