面對趙構的承諾，見岳家軍能夠得到擴充，收復中原有望，岳飛的心情自然是異常激動。
也就是在這一時期，岳飛親手寫下了有名的乞出師札子。
在這份奏疏中，岳飛詳盡陳述了自己恢復中原的規劃。
而宋高宗趙構在閱覽了奏疏後，也是讚不絕口。
都督府更是將劉光世軍情況通報給岳飛。劃撥劉光世軍岳飛，到此好像已成定局。
然而岳飛怎麼也沒有想到，張浚和秦檜會在這時候從中阻撓。
而趙構偏偏又聽從了將人的建議，置之前的決定於不顧，同時下詔給岳飛道。
“淮西合軍，頗有曲折。”
正所謂君無戲言，可趙構卻朝令夕改，這讓岳飛自然是滿腹委屈。
岳飛幾次求見趙構，都沒能如願，心中積怨，再加上之前兩次北伐的事情，氣急之下，岳飛直接上了一道乞罷軍職的奏疏，還不等批示，只向隨行機密官黃縱略微交代後，就離開建康，回到廬山為母守靈去了。
趙構聞知岳飛辭職，隨即詔令鄂州軍營將佐立刻督請岳飛還軍。
而後又派張宗元到鄂州軍中做宣撫判官。
趙構當然不可能就這麼放走岳飛了，岳飛的本事他又不是不知道。
在朝廷的詔令下，李若虛，王貴只得去廬山請岳飛還軍。
“將軍，難道你真就想這樣一走了之？”
“當初我們兄弟的說好的要一起光復中原，驅除外敵，如今外敵未退，將軍難道就這樣放棄了？”
兩人苦勸六日，岳飛這才答應受詔朝見，還軍視事。
幾乎是同一時間，張浚用人不當，終於招致了淮西軍變，張浚也因此引咎辭相。
得到兵變訊息後，岳飛立即上疏表示願率軍進屯淮甸，拱衛建康行朝。
然而趙構只讓岳飛到江州駐紮。
之後的九月，十月間，岳飛入宮覲見，期間向趙構提議立其養子趙瑗為皇儲，誰知此事又遭趙構呵斥。
其實這點也體現了岳飛此人不懂朝堂之事。
趙構膝下本就無子，對於皇儲的選立，可以說一直都是趙構心中的一根刺。
連秦檜這樣的近臣都不敢隨意在趙構面前提及此事，可岳飛卻肆無忌憚的說了出來。