因為張作霖和芳澤有過這樣的衝突和不愉快，隨行人員在回奉前都有一種惴惴不安的不祥預感，唯恐在山海關出事，有人私下裡已準備了裹傷包和餅乾，以防萬一。那幾天，奉天憲兵司令齊恩銘也發現老道口四周情況異常，日軍守備隊日夜放哨，阻止行人通行，好像在構築什麼工事（實際在埋置炸藥），為此他向北京發來密電，請張作霖嚴加戒備或繞道歸奉。
可是張作霖卻並沒有感到有任何不安，對齊恩銘的提醒亦未能引起重視，他還不以為然地說：「齊恩銘這個人警惕性倒是挺高，可有時候就是喜歡大驚小怪的，別真以為有那麼嚴重。」
如同村岡、河本等人對田中的秘密行動一無所知一樣，張作霖也絕不會想到關東軍竟然要另開一席，瞞著日本政府對他個人展開謀殺行動。日本人後來判斷，張作霖之所以敢於「優哉游哉回奉天」，就是因為他確信關東軍不會使用武力，而他之所以有這樣的信心，又與他已在山本的秘密交涉中給過對方甜頭有關。
當然，長期在壓力和危險下生存的經驗，也沒讓張作霖完全疏於大意，他對返奉的路線、時間都有過考慮。路線上，他原打算乘汽車由古北口進關，但一者公路坎坷不平，難免會受顛簸之苦；二者既已被人趕下了台，他也不想抄小路灰溜溜地逃回奉天，他老張要堂堂正正地在奉天站接受關東父老們的盛大歡迎。
至於返奉日期，除了故弄玄虛地一再更改日子，由6月1日改為2日，又改為3日外，張作霖還找來了他很信任的瞽目術士張震洲卜算。張震洲搖卦之後，說當日下午7時動身為吉，張作霖便深信不疑，當即決定於這個時間啟程離京。
日本《朝日新聞》報道了張作霖當晚離京的場面：「警衛隊的刀槍發出熠熠燈光，荒涼的軍樂輓歌般的響起。張作霖的左手緊抓著佩劍，行舉手禮與送行者告別。」記者還注意到，張作霖的表情顯得非常悲痛，當他依依不捨地回望京都的時候，眼睛甚至「閃著光亮」。
像他的前任段祺瑞、吳佩孚那樣，張作霖有志於統一中國，可結局卻並無任何差別，只能以敗軍之將的身份黯然離場，「誰目睹此情此景，又怎能毫無感慨」？
這個時候包括張作霖在內，沒有人會想到他們的告別其實還有另外一層意味，不久將響起真正的輓歌。唯有離京之前，顧維鈞曾經拿著張作霖的八字，請術士為張算命，算命的術士歎息道：「這個命貴是貴，可是正如黎明前的燈膽，馬上就要熄滅了。」
張作霖一行所乘專車由北京開出後，作為顧問的町野在天津站提前下車，以便等待張宗昌的軍隊。這時車上的日本人裡面，還有一個日本駐錦州領事。這名領事是在北京上車的，當時他手持奉天的日本軍政各界委託書，表示在奉天的日本人一致歡迎張作霖回歸奉天。張作霖在略表寒暄之後，便邀他同往奉天，就在專車抵達錦州時，此人稱有急事要回領事館，下車提前走了。有人見他行動鬼祟，怕出意外，建議張作霖改換車廂，但張作霖不以為然，依舊乘坐原車廂繼續前進。事後大家回憶起這一細節，懷疑日本領事就是來偵察張作霖車廂號數的，他在錦州下車，既可以脫離爆炸現場，也便於把情況通報給關東軍的伏擊人員，以免炸錯。
1928年6月4日，5時23分，專車駛抵老道口橋沿，埋置的炸藥突然起爆，全橋崩塌，據說與預定起爆時間只差了一秒。爆炸聲中，鐵軌呈現出麥芽糖的彎曲狀，張作霖所在車廂的車身當即崩出三四丈遠，只剩兩個車輪完好。河本自始至終觀察著起爆過程，他看到「轟隆爆炸的同時，黑煙飛揚到了兩百公尺的上空」，這令他以為「張作霖的骨頭也飛上天空了」。
事故現場十分淒慘可怖，共有十七人被炸死。由奉天專程到山海關迎張的吳俊升頭貫鐵釘，當場身亡。張作霖被炸出三丈遠，滿身是血，當時還看不見內裡傷，只有咽喉處有一個很深的窟窿。校尉處長溫守善急忙用一個大綢子手絹將窟窿堵上，然後和其他人一起將張作霖抬上前來迎接他們的汽車。
張作霖的神情看上去非常難過，他雖然神志糊塗，但還能說話，問的頭一句話是：「逮住了嗎？」溫守善騙他說：「逮住了。」
「哪的？」
「正過問呢。」
張作霖這時說：「我到家看看小五（指五夫人）。」接著又說：「我尿一泡尿，尿完了尿我就要走啦！」當時大家都以為他由於嚴重腦震盪，說的是囈語，不料這其實就是他最後的遺言。
皇姑屯事件令町野感到眼前「天昏地暗」，另外有兩個日本人也驚愕得幾乎暈倒。一個是身在東京的首相田中，他臉色蒼白，流著眼淚講了一句話：「一切都完了！」另一個是身在大連的山本，他癱坐在沙發椅上，說：「田中內閣完了，我要回東京。」
河本以為他為日本排除障礙，立了大功，其實從長遠來看，這次謀殺行動對中日兩國而言幾乎接近於同歸於盡——東北失去了一個既能鎮住內部，又可以在艱難情況下巧妙應付蘇日的梟雄，這為若干年後的東北淪喪及民族危機埋下了伏筆。另外，因為張作霖在世時打下的基礎，奉系並未如關東軍所願的那樣頃刻瓦解，反而田中內閣所寄望的「滿蒙五路」和「積極外交」歸於徹底失敗。
在楊宇霆被誅殺後，日本政府和軍方在滿蒙問題上更難找到可以對等交涉的對手，最終只能冒險一逞。町野認為，皇姑屯事件是「九一八事變」的開端，更是太平洋戰爭的遠因，「如果由我來談這些，我一定會臭罵日本的外交和軍人，這是日本的恥辱……」