從1916年8月19日起，圍繞鄭家屯事件，北京政府外交部與日本新任駐華公使林權助展開談判。談判期間，張作霖並未袖手旁觀，他採取了積極介入的態度。
鄭家屯事件緣起的最關鍵問題，是誰尋釁在先。日方在談判中惡人先告狀，聲稱武裝衝突是因「中國兵發炮挑鬥」所致，且奉軍對日軍實施了「猛烈攻擊」，為此他們曾將兩名中國商人抓起來，逼其畫押，以製造偽證。張作霖得悉後，於8月28日急電北京政府進行揭露，外交部據此發出聲明，認為逼供不能作為證據，從而使日方製造偽證的行徑未能得逞，己方也得以從最初的極度被動中慢慢擺脫出來。
不管談判進行到哪一步，總之奉軍在郭家店方面是沒有再發動進攻。有日本人在背後撐腰，本已瀕臨絕境的巴布扎布和蒙軍又來了精神，他們在郭家店豎起一面一丈多長的黃旗，有人把它看成是象徵復辟的清朝國旗「黃龍旗」。一時間，這些人張牙舞爪，不知怎樣顯擺才好了。
配合著官方行動，日本國內的許多報章雜誌也極力對巴布扎布進行吹捧，先把他描繪成一個「軀幹高大，容貌非凡，具有將才霸氣」的「常勝將軍」，繼而又稱其「作為成吉思汗的後裔，雄才大略，有圖謀蒙古民族復興之壯志」。經過內外這麼一包裝，巴布扎布儼然成了「成吉思汗再世」、蒙古獨立的英雄，善耆等宗社黨要員腦子一熱，乾脆把自己組建的約八百「勤王軍」也運抵郭家店，由巴布扎布統一指揮。
「勤王軍」一出，立刻被張作霖抓住把柄。因為自民國成立以來，中央政府對宗社黨人歷來是嚴懲不貸，宗社黨把「勤王軍」撥給巴布扎布，就表明二者已經合流，當然也應與之同罪。張作霖遂正式通告日方：「蒙匪既與勤王軍聯合，中國軍隊不得不大舉討伐。」隨著他一聲令下，奉軍打破與日本剛剛訂好的「協約」，對撤出郭家店的蒙軍發起猛攻，並在1916年9月2日予蒙軍以重創。
同一天，中日進行第四輪談判。出面談判的外交總長陳錦濤根據張作霖的八條意見，對日方進行逐條批駁。此前一直在事件的具體情節上反覆糾纏的林權助立即陷入被動，只得以「此案實無深究之必要」進行搪塞，以後又承認事件中的日本警察河瀨處理不慎，日軍也「稍有過分者」。
雖然理屈詞窮，但林權助倚仗著自己國家有實力，仍以鄭家屯事件為借口，非常蠻橫霸道地提出了八條要求。在這八條要求中，除對有責任的中方官兵予以免黜或懲處外，還包括向東北派駐日本警察、向東北各部隊派遣軍事顧問等。中國外交部自然不能同意，雙方爭執激烈，尤其在派駐日本警察一項上更是互不相讓，後來該項也成為每一輪談判的焦點所在。
日本政府一邊在談判中實施逼迫式打法，一邊仍沒有忘記繼續維護自己的工具。9月3日，眼看蒙軍即將被殲，日軍開始直接對其實施援助。蒙軍原先的武器主要由日本政府和宗社黨偷運提供，南下這麼多仗打下來，軍械子彈已經十分匱乏。日軍便從四平街方面運來武器進行補充，其中不僅有大量子彈和炮彈，還包括了四門青銅炮。這四門青銅炮均為日俄戰爭時日軍使用的舊式山炮，一發射炮彈就要後退三米遠，必須再上推到原地才能繼續發射，怕蒙軍不會用，一個退伍的日軍炮兵少尉被專門派來充當炮手。
蒙軍的武器彈藥重新變得充裕起來，而由於無法使用鐵路，奉軍的給養則越來越接濟不上。當天下午，因為缺乏子彈，奉軍被迫轉攻為守，黃昏時組織撤退。在這種情況下，張作霖只得再度與日方立約，准許蒙軍安全退回蒙古大沙漠，而條件是日本必須解除「勤王軍」的武裝。
協約雖然訂了，但各方其實都無守約的自覺性，日本嘴上答應著，實際對「勤王軍」一個手指頭都沒動，與此同時，張作霖也在蒙軍出發後不久，就通知奉軍對蒙軍及「勤王軍」繼續發動進攻。巴布扎布本身更不老實，他非但不肯就此偃旗息鼓，率部返回沙漠，而且還在與奉軍交火的同時，不斷對沿途的城鎮村寨進行燒殺和劫掠。
從9月中旬起，中日雙方在北京的交涉也逐漸進入白熱化階段。林權助為了逼迫中方讓步，又無中生有地捏造事實，說儘管日軍在事件中先鬧上門，可是當他們在撤離時，卻遭到了奉軍的「包圍追擊」。參加談判的外交次長夏詒霆因為對具體情節掌握得不是特別清楚，所以未能予以當面駁斥。
過後外交部緊急電詢張作霖，張作霖再度進行詳細調查，查明被打死的十二名日本兵中，十一人的致命處均在前面，剩下一人的傷口也在左腰眼。依據張作霖所提供的屍體檢查報告，中方代表在談判中據理力爭，林權助無隙可乘，也自覺理虧，在以後的談判中未再提及此事。