侍御史杜莘老敏锐地观察到了赵构对王继先的态度变化，上疏列举王继先的十项罪名“广造第宅，多侵官司地分”，“屋宇台榭，皆高广宏丽”，“可谓僭侈”，“专探下户妇女有姿色者，百端作计，必强取之，以为侍妾，虽有婚姻，一切不顾”等等。

王继先随即被撤职，赶到福州居住，儿子、孙子的官职全部开除，财产没收，此后再未起复。

附录：高宗在位年号及历任宰相

建炎元年五月高宗即位（公元1127年）：李纲（五月任，八月免），黄潜善（八月任）；

建炎二年（公元1128年）：黄潜善，汪伯彦（十一月任）；

建炎三年（公元1129年）：黄潜善（二月免），汪伯彦（二月免），朱胜非（三月任，四月免），吕颐浩（四月任），杜充（闰八月任）；

建炎四年（公元1130年）：吕颐浩（四月免），杜充（二月免），范宗尹（五月任）；

绍兴元年（公元1131年）：范宗尹（七月免），吕颐浩（九月任），秦桧（八月任）；

绍兴二年（公元1132年）：吕颐浩，秦桧（八月免），朱胜非（九月任）；

绍兴三年（公元1133年）：吕颐浩（九月免），朱胜非（四月丁母忧，七月起复）；

绍兴四年（公元1134年）：朱胜非（九月免），赵鼎（九月任）；

绍兴五年（公元1135年）：赵鼎，张浚（二月任）；

绍兴六年（公元1136年）：赵鼎（十二月免），张浚；

绍兴七年（公元1137年）：赵鼎（九月任），张浚（九月免）；

绍兴八年（公元1138年）：赵鼎（十月免），秦桧（三月任）；

绍兴九年（公元1139年）：秦桧；

绍兴十年（公元1140年）：秦桧；

绍兴十一年（公元1141年）：秦桧；

绍兴十二年（公元1142年）：秦桧；