得道誇經紀，時熟好種田，既然已經鋪好道路，新民這邊便可以開張了。1901年9月，受張作霖之托，張子雲、杜絆林作為擔保人，一同到新民府拜見知府增韞，說心甘情願把八角台「保險隊」這股人馬交給政府。
增韞本有招撫之責，又得到了上峰的命令，聽後滿口應承，說：「二位地方士紳既以身家性命擔保，本府當然深信不疑。」
張、杜隨後又把張作霖大加稱讚了一番。因為盛京將軍有言在先，張作霖部將暫時維持新民的地方治安，所以增韞也頗有見這位新部下一面的興趣，便提出把張作霖領去給他看看。
張、杜返鎮後，把經過情形轉告給張作霖，過後三人一同拜見增韞。張、杜是以新民府考中同年考取的秀才，府考由知府主持，所以兩人都稱增韞為老師。張作霖何等機靈，他也不管自己是不是秀才出身，便跟著叩頭行大禮，並拜增韞為老師。
增韞見他相貌儒雅，樣子挺聰明，言行舉止又如此乖巧，對他很滿意，便問他手下有多少人。張作霖信口回答：「一營人。」
按照清朝兵制，一營要有五百人，少說點也得四百人，張作霖當時只有兩百人，但他為了抬高自己的身價，給以後擴充力量提供餘地，就來了個以少報多。增知府也不細察，只是告訴他：「回去趕快整頓，整頓好即帶到新民點編。」
點編就是點驗人數，列入編製。張作霖一回八角台就忙開了，除八角台的原有班底外，他又吸收了遼西一帶其他小股幫派，湊足四百之數，開到新民府點編。
點編完畢，增韞成立了一個游擊馬隊，張作霖被任命為馬隊管帶（相當於現代軍制中的營長），以下張景惠、湯玉麟、張作相等人各有職務。大家搖身一變，全都成了堂堂正正的大清軍官。
俗話說「人要衣裳馬要鞍」，尤其張作霖，待到他把軍帽往頭上一戴，制服往身上一裝，洋式軍槍往腰間一佩，薄底軍靴往腳上一穿，那個精神，整個人都顯得威風凜凜、氣宇不凡。
舊時官員拿到委任狀後必須謁見上司致謝，名為「謝委」。張作霖到奉天巡防營務處「謝委」，由於當時還沒有「鬍子」敢主動接受招撫，張作霖是吃螃蟹的第一人，所以營務處的人都想看看這位聲名在外的綠林豪傑到底是怎樣一個人。這一瞧，幾乎完全顛覆了「鬍子」在人們頭腦中的印象，但見張作霖相貌清朗俊秀，雙目灼灼有光，根本不像是山大王的樣子，倒十足像個文雅書生。
一定要說張作霖在形象上有什麼缺陷，就是身材還不夠高大，因此大家都稱呼他為「小個子」。「謝委」時，營務處的負責官員問「小個子」為什麼願意受撫，張作霖的回答立刻暴露了他與書生的區別：「我想陞官發財。」在場眾人聽慣了報效朝效之類的官話，沒想到張作霖會如此直言不諱，頓時一個個瞠目結舌。
馬隊成立後奉命繼續留駐八角台。這時敢於侵擾八角台的「鬍子」主要來自熱河，其中最為凶悍的是一個綽號「海沙子」的巨匪，麾下有百餘之眾，裡面一半為蒙古人。他們常常騎著快馬，一晚上就朝遼西呼嘯而來，十分嚇人。
有一次，這伙邊外盜匪又入境侵擾，還綁走士紳常家的老太太作為肉票。張作霖與其進行了一場惡戰，張景惠率先將肉票解救出來，接著張作霖又親自指揮馬隊予以包圍。
兩邊首領喊話，張作霖對「海沙子」說：「你不能在此處收過路錢，這地方屬我管。」「海沙子」情知今天靠跑是跑不出去了，便梗著脖子叫嚷：「不給錢？那我就要打！」
張作霖說：「我在這村莊負責安全，我拿人家的錢，咱倆一打，村莊不就遭難了嗎？不行，你不能打！」為了減少附近村莊的損失，他給「海沙子」提了個建議：「這樣吧，咱倆對打好不好？你人站那邊，我人站這邊，咱倆開槍對打，如果我被你打死了，這地方就歸你。如果我把你打死了，你的部下就歸我，好吧？」
所謂沒有金剛鑽，不攬瓷器活，張作霖提議決鬥並非完全意氣用事。當年的東北「鬍子」都以槍法好著稱，不單單是大小頭目，就是最下面的「崽子」，都首先要求「管硬」「管直」（黑話，意思是槍法准）。他們平時吃飽喝足了之後最主要的娛樂之一就是玩槍，也即練槍法。通常是大伙坐在屋裡大炕上，把窗戶敞開，窗外的牆頭上挨排插蒿子或醬桿（高粱的秸稈），眾人開槍射擊，比誰用槍「掐得齊」（黑話，意思是打得多和准）。
很多「大當家的」都是靠玩槍玩出名的，他們使「雙傢伙」（即雙槍），能夠做到「左右開弓，騎馬點射，空中打飛物，夜晚打香頭，說打鼻子絕不打眼睛」。張作霖多次持雙槍衝鋒陷陣，但他平時更習慣使用一支八厘米套筒步槍，由於長年槍不離肩，甚至造成了右肩高、左肩低的體形特點。
與「海沙子」的決鬥開始後，兩人幾乎同時以閃電般的速度舉槍和扣動扳機，結果是「海沙子」被當場擊斃，而張作霖只受了一處並不致命的槍傷。按照決鬥時達成的君子協定，「海沙子」一死，他的部下也就放棄抵抗，或歸順張作霖，或四散逃去。消息傳出，熱河一帶的盜匪驚恐失色，再沒有誰敢隨隨便便跑到八角台來滋事了。