至公元1161年十月底，金军从西到东“川陕陇”、“蔡州、襄阳”、“安徽、淮阴”、“海路”四路进攻，虽然“川陕陇路”、“蔡州、襄阳路”、“海路”都取得不错的战绩，“安徽、淮阴路”也有刘錡指挥的“皂角林之战”胜利，但由于王权败退至建康，刘錡病重退到镇江，都回到了长江南岸，兼之完颜亮亲自统帅，兵力雄厚，不到两个月，宋军在“安徽、淮阴路”丢失了两淮之地，金军杀到了长江北岸，占领和州、真州、扬州等地。

十月二十八日，知枢密院事叶义问督江淮军马至镇江，见刘錡病重，让在江北瓜洲的李横代替刘錡指挥，十一月初，金军犯瓜洲，刘錡之侄刘汜败走，李横也败退，左军统制魏友、后军统制王方战死。

十一月初四日，朝廷命成闵代替刘錡，李显忠代替王权。成闵率兵从应城出发，赴镇江。而参谋军事虞允文，则到芜湖，监督李显忠到马鞍山接管王权的兵马。并到采石矶（在安徽马鞍山）犒劳官军，王权此时率军在采石矶。

初八日，虞允文先赶到了采石矶，此前王权接到由李显忠接管的诏令，高兴得一夜没睡，第二天便启程赴临安。留在前线多危险呐，哪怕受处分，回后方可安全得多！朝廷起初让他王权独当一面，实在是失误得紧！

虞允文至采石矶，李显忠尚未赶到，军中无主将，虞允文见王权的败军三五成群，解鞍束甲坐道旁，虞允文心忧，召集诸将，鼓励他们道：“金帛、诰命我都带来了，只待各位建功立业！”

众将被王权牵着鼻子从庐州跑昭关，从昭关遁和州（安徽和县），从和州渡江逃采石矶，个个脸面无光，心里也觉窝囊得紧，如今有了主心骨，都慷慨表态，愿意死战！

亲信劝告虞允文道：“公受命犒师，并非督战，万一失利，公如何担当？”

虞允文斥责道：“战况危及江山社稷，我还能躲避？”

虞允文至江边，见长江北岸已经修筑高台，高台两边各树立两杆大旗，不久探子来报，前一日，完颜亮在和州鸡笼山聚集兵马四十万，临江筑坛，杀黑白马祭天，以期大军渡江，并下诏，先渡长江者，赏黄金一两。

宋军在采石矶兵力仅有一万八千人，虞允文命诸将布列大阵不动，战船分为五队，两队在东西岸，一队驻中段，船上埋伏精兵，另两队战船藏于小港内，已备不测。

虞允文刚布置完毕，对岸呼声震天，完颜亮持小红旗，指挥数百战船，从江北出发，望江南而来，顷刻之间，已有七十余艘战船直抵南岸，金军上岸后冲击宋军战阵，宋军略有退却。虞允文在军中见此，抚摸着统制时俊的后背激励道：“听闻时将军胆略威震四方，在阵中怎么像小儿女？”