再说刘光世不守合肥，差点酿成大祸，张浚回朝，弹劾刘光世“骄惰不战，不可为大将，沉湎酒色，不恤国事”，三月二十二日，赵构拜刘光世为少师，充万寿观使。刘光世犯错，为什么升爵位，我们在此节“佐料”里再介绍。刘光世由此离开了自己一手创建的刘家军—淮西军，正式被剥夺了军权。

张浚将淮西军隶属都督府（张浚以宰相兼枢密使身份都督全国各路军马，设都督府），分为六军，想重新为淮西军谋一位统帅，特意将岳飞召至都督府，征求淮西军统帅人选。

张浚对岳飞道：“王德是淮西军的元老，我打算让他做淮西军都统制，再让兵部尚书、'；都督府参谋军事'；吕祉来统帅淮西军，你认为如何？”

岳飞分析道：“王德和郦琼不相上下，互不买账，一旦让王德居郦琼之上，郦琼必然不服。吕尚书不熟悉军旅，恐怕压制不住他们。”

张浚又问道：“那么张宣抚（指张俊）如何？”

岳飞毫不客气地道：“张俊脾气暴躁，缺少谋略，郦琼对他尤其不服！”

张浚再问：“杨沂中怎样？”

岳飞回道：“杨沂中和王德本事差不多，怎么能够驾驭淮西军？”

张浚处处碰壁，不由得沉下脸道：“这也不行，那也不行，我张浚知道，就你岳太尉行！”

岳飞愕然道：“都督以正事询问我岳飞，我不敢不诚实地回答，怎么有得兵的想法？”

从这段对话，我们可以看出，岳飞的性格太过于耿直，当然，他可能正气恼朝廷出尔反尔，不将淮西军隶属他节制。但他的回答，几乎冒犯了朝中所有大将！这大概也是他被秦桧陷害时，除韩世忠外，几乎无人出言挽救的原因吧。