酒桌之上，張作霖也撂下話：「你們誰要是喪良心，和官兵一個鼻孔出氣，那就別怪我的子彈不長眼睛了。再說，我起事造反的槍支彈藥，都是你們幾家出錢買的，捅漏了誰也別想好！將來我幹好了，就加倍還你們！」
末了，他問道：「你們甘不甘心？」
大伙唯有打掉牙往肚裡咽，回答：「甘心！甘心！」
「同不同意？」
「同意！同意！」
「好！」張作霖一揮手，「把你們的合同都拿回來，咱們重新簽字！」
大家只好依言取來原合同，由張作霖毀掉，再重新簽約。當晚，張作霖把這些人全部灌醉，然後挎上槍，離開了家。他首先找到當年在大車店給他做過「啟蒙教育」的馮麟閣，由馮麟閣介紹，加入了洪輔臣幫派。
遼河下游本就是「鬍子」集中的地區，經歷甲午戰爭後，社會的動盪不安更使盜匪蜂起，一個遼河西岸竟然聚集著一百多股「鬍子」，每當青紗帳起時，幾乎路斷行人，所以有人稱之為「土匪窩子」。在這其中，最大的三股分別是馮麟閣、杜立三、洪輔臣，呈三足鼎立之勢。
張作霖實際加入的是洪輔臣下面的一個小幫。在「鬍子」裡面，小嘍囉叫作「崽子」。「崽子」必須絕對服從大小頭目的命令，打仗（或者打劫）時勇於衝鋒陷陣，下來時甘於站崗放哨，到年終或休息時，再和其他「崽子」一道分點酬勞。張作霖自然不想老做一個「崽子」，但要按部就班地從「崽子」升到頭目，又沒這個耐心。於是過了不久，他就拉上二十九個志同道合的兄弟，離開小幫，在外面拉起了自己的隊伍。
由於根基較淺，沒有固定的勢力範圍，最初他們只能跑東跑西地到處流竄。一次，張作霖帶著人想進入姜家屯歇息，但遭到了洪輔臣的一個頭目「二谷癟子」的阻攔。即便在洪輔臣幫派內，分了爐灶的各小派之間也是各吃各飯，姜家屯屬於「二谷癟子」的勢力範圍，他自然有充足的理由不讓張作霖進來與之爭利。
就在張作霖進退兩難之際，姜家屯一個當鋪的鍾掌櫃幫忙，他借口要請張作霖為他醫馬，將他們接入了姜家屯。歇息完畢，張作霖一夥人準備離開，恰好與一群做馬匹生意的馬販子不期而遇，後者擁有剛剛從蒙古販運來的大批好馬。
對於「鬍子」來說，好槍好馬都是稀缺資源。張作霖等人一見眼就紅了，他們一擁而上，從中劫奪了五十多匹好馬。這樣張作霖及其手下人就一人有了兩匹馬，可以一坐一換，他們也因此由「步鬍子」變成了「馬鬍子」，不僅可以在遼西平原上縱橫馳騁，而且也不再為別的幫派所小覷了。
在很長一段時間裡，張作霖一直困厄潦倒，坎坷多難，很多次還差點命赴黃泉。他發跡後，就有人把他死裡逃生的遭遇歸結為有福，認為有福之人當大官掌大權乃是命中注定的事。
一般認為，張作霖的祖籍是山東，但也有資料顯示是河北省大城縣的馮莊，包括張作霖及其家人都這麼認為。據說張作霖還曾專門回馮莊祭祖，其間就有遺老指著村頭子牙河邊的兩棵老槐樹，對他說：「你老人家高官得做，是有家鄉老神樹保佑啊！」
原來村裡傳說，清咸豐年間，忠親王（即僧格林沁）曾和太平軍激戰於子牙河邊，當時太平軍數十人圍住僧格林沁，拿箭射他。僧格林沁藉著兩棵老槐樹的庇護，得以安然無恙，從此這兩棵樹也就成了當地的「老神樹」。
張作霖聽後只是一笑了之。在他的心目中，如果有什麼能夠保佑自己，姜家屯也許比「老神樹」更有代表性。因為正是從在姜家屯劫馬起，他的命運才開始發生真正的轉變，彷彿是一夜之間，所有的事情都變得順利起來了。