公元1141年五月，张俊和岳飞在楚州巡视韩世忠的军队，张俊暗中挑唆岳飞，一同分解韩世忠的精锐部队—背嵬军，遭到岳飞严词拒绝，张俊因此很不高兴。

赵构为方便枢密使张俊和副使岳飞在淮东办公，命两人在镇江设置“枢密行府”，措置边防事宜。

六月，两人到楚州（江苏淮安，又名山阳），张俊见楚州城池破损，提议整修，岳飞道：“我们应当努力北伐，何必做保守退让准备？”又惹得张俊勃然变色。这就是以后朝廷指责岳飞主张“放弃山阳”的依据。

不久，两人到海州（江苏连云港），张俊认为海州城难守，命令毁弃海州城，将海州民众迁走。同样是弃城，张俊弃得彻彻底底，朝中上下视而不见；而岳飞因一句话招惹弥天大祸。

六月底，两人将韩世忠部队集中到镇江布防后，率背嵬军回临安。一到临安，张俊就向赵构秘报了岳飞有“放弃山阳”的想法。

七月十六日，万俟卨上疏弹劾岳飞，指责岳飞于公元1141年正月故意拖延，“不救淮西”，巡视楚州，申言“放弃山阳”，并连续上疏几次。

十七日，赵构当着秦桧的面批评岳飞“放弃山阳”，不负责任。

十八日，赵构命刘錡知荆南府（湖北荆州），这个命令的深意我们以后再讲。

七月底，赵构命张俊再去镇江“枢密行府”，措置军务。而岳飞则留在了临安。

八月九日，御史中丞何铸、侍御史罗汝楫再次弹劾岳飞，内容仍然是万俟卨的两个论调，且请求免除岳飞枢密副使之职。

此前岳飞见万俟卨纠缠不休，也上表请求辞职。同日，岳飞被罢枢密副使，充“万寿观使”的闲职，岳飞大概感觉到形势不妙了，自请回到江州庐山旧居赋闲。但未被允许。放虎容易捉虎难，这个道理谁都懂。

岳飞此时无权无兵，对他的迫害步步紧逼，一环扣一环。在秦桧授意下，张俊利用岳家军内部矛盾，抓住都统制王贵的小辫子，威逼王贵诬陷岳飞，王贵屈从；又收买张宪部下副统制王俊，让其出面首告张宪“谋反”，从而牵连岳飞，并命人代他写好一份“告首状”。