完顏兀朮要趙構先殺了岳飛，而後議和可成。
但是書信送到趙構手裡後，卻沒有了動靜，這一次趙構沒有給完顏兀朮回覆。
對此，完顏兀朮心裡其實也沒底，但是他並不知道，此時的趙構召見了秦檜。
至於兩人說了什麼，那沒人知道。
只是在之後，四月，岳飛便被調離了軍隊，到臨安樞密院供職。
五月，岳飛又在張俊的邀請下前往楚州巡視韓世忠軍隊。
期間，張俊突然對岳飛說道。
“嶽將軍，這韓世忠的軍隊不錯，你說我等若是將其收歸麾下如何？如此你的岳家軍也能得到極大的補充。”
分解韓世忠的軍隊？聽聞這話，岳飛當即轉頭，臉色不善的看向張俊道。
“張將軍倒是打仗不行，對付自己人可是一把好手啊。”
話語之中，極盡鄙夷。
對於韓世忠，岳飛十分敬佩，可以說此人是岳飛在朝堂之上，少數幾個看得上的人了，如此，以岳飛忠義的性格，又豈會做出對韓世忠不利的事情。
聽聞岳飛這話，張俊面色陰沉，但也沒有再多說什麼。
並不算愉快的返回臨安，可岳飛沒有想到，之前自己嚴詞拒絕了張俊，秦檜很快就發動了新一輪攻勢。
在岳飛剛剛返回臨安不久，便遭到了秦檜黨羽万俟卨，羅汝楫的彈劾。
兩人誣衊岳飛在援救淮西時逗留不進，並且還主張棄守楚州，要求趙構免除岳飛樞密副使之職。
朝堂之上，万俟卨，羅汝楫可謂是義正言辭，在他們嘴裡，岳飛儼然就成了一個卑劣下人。
“陛下，岳飛此人不忠不義，怯懦膽小，懇請陛下嚴懲。”
對此，趙構沒有當場表態，只是輕描淡寫的就將此事給放下了，一副好像並不打算嚴懲岳飛的樣子。
可最後，事實卻證明，趙構心裡不是這麼想的。
八月九日，岳飛被罷免樞密副使，充萬壽觀使的閒職。
對此，岳飛倒是毫不在意，當即上書自請回到江州廬山舊居賦閒。
只可惜，此時已經無兵無權的岳飛，還沒有意識到，他已經走不了了，而秦檜對他的迫害也在步步逼近之中。