外敵難以撼動的岳家軍，卻遭到了南宋朝廷內部投降派的摧殘。
就在這抗金戰爭取得輝煌勝利的時刻，甘心充當兒皇帝的高宗趙構，因擔心一旦中原收復，金人放回他的哥哥欽宗，他就保不住皇位，而急切地希望與金入議和。
金人安插在南宋朝廷裡竊取了宰相高位的內奸秦檢，也抓住高宗這個難言的心病大肆活動，破壞岳飛的抗戰。他們狼狽為奸，密謀制訂了全線撤軍、葬送抗金大好形勢的罪惡計劃。他們首先命令東西兩線收兵，造成岳家軍孤軍突出的不利態勢後；即以「孤軍不可久留」為名，連下十二道金牌(紅漆金字木牌)，急令岳飛「措置班師」。
在要麼「班師」、要麼「喪師」的不利形勢下，岳飛明知這是權臣用事的亂命。但為了保存抗金實力，不得不忍痛班師。岳飛憤慨地說；「十年之功，廢於一旦!所得諸郡，一朝全休！社稽江山，難以中興!乾坤世界，無由再復!」岳飛的抗金英勇鬥爭，至此被迫中斷。
岳家軍班師時，久久渴望王師北定中原的父老兄弟，攔道慟哭。岳飛為了保護老百姓的生命財產，故意揚言明日渡河，嚇得金兀朮連夜棄城北竄，準備北渡黃河，使岳飛得以從容地組織河南大批人民群眾南遷到襄漢一帶，才撤離中原。