岳飞不仅得罪了其他重要将帅，也得罪了朝中大佬张浚，而且，岳飞的倔脾气一上头，便失去了理智，竟然和张浚谈完后，上疏说要辞职为母亲守丧三年，更为严重的是，岳飞没有等朝廷答复，直接将部队交张宪代管，自己回庐山守丧去了。这个举动，多少折射出岳飞自傲、冲动的缺点！前期在王彦手下，岳飞其实暴露出了这个缺点的。但人无完人，金无赤金，这是人之常情。

张浚闻讯大怒，立即上奏赵构，说岳飞处心积虑，意在并吞淮西军，阴谋失败，便向朝廷辞职相要挟。好在赵构此时十分看好岳飞，仅任命张宗元暂时为岳家军的“宣抚判官”，负责监察全军。

另一方面，赵构下诏，督促岳飞回军营。岳飞却不肯听从。赵构又诏令鄂州军营将佐立刻敦请岳飞还军，岳飞还是不肯出山。最后，赵构下诏，命宣抚司参议官李若虚、统制王贵一同去庐山敦请岳飞还军，如果岳飞违诏，李若虚、王贵等军法从事！

李若虚和王贵上庐山后，在庐山东林寺见岳飞，说了朝廷的意思，请岳飞回军“掌舵”，岳飞还是不肯。

李若虚道：“宣抚（岳飞职务为宣抚使）是想反叛吗？”

岳飞道：“岂有此事？”

李若虚道：“这就有点不妙了！宣抚如坚持不从，朝廷难道不会怀疑宣抚吗？况且宣抚原本是河北一农夫罢了，受天子委任，付以兵权！宣抚想一想，你能和朝廷抗衡吗？宣抚如坚持不出山，我李若虚等不过受刑而死，我们辜负了宣抚吗？宣抚内心不愧疚吗？”

李若虚如此掏心置腹、情真意切、恐吓威逼，反反复复劝了六天，总算不辱使命，也保住了自己性命。六月，岳飞这头“倔虎”回军视事。

岳飞到建康见赵构后，张浚还不解气，责备岳飞道：“陛下不处罚你，对你太宽厚了！”

岳飞低头不语，张浚又责备岳飞负气擅自离军，岳飞无言以对，只是茫然问道：“现在该怎么办？”