宗泽死后，杜充继任东京留守。其人“性残忍好杀，而短于谋略”，置宗泽生前的计划于不顾，北伐终告夭折。
1128年（建炎二年）八月，金军再次南侵。一次，岳飞奉命驻守竹芦渡，用疑兵之计打败金军，因功转武功郎。
1129年（建炎三年）正月，岳飞奉东京留守司的命令从守卫北宋皇陵的驻地西京河南府返回开封。杜充出于排斥异己的动机，命飞向守城将领张用、王善袭击。时王善驻扎城东，张用驻扎城南，岳飞、桑仲、李宝诸人驻扎城西，均负有守卫京师重任。飞不愿自相残杀，婉言推辞，但杜充以军法问斩相威胁，勒令飞出兵。飞有以往擅自脱离王彦的教训，无法抗命，只能出战，南薰门之战，以八百人击退张、王部数万人，以功升武经大夫。杜充又派马皋等继续追击张、王部，却被打败。王善攻打淮宁，张用不从，引军离去，自此成为游寇，后终被岳飞收降。自春至夏，飞随陈淬多次与王善作战，王善率部东流西窜，最后降金。飞因多次战功先后转武略、武德大夫，授英州刺史。
上年八月开始南侵的金军，于是年正月又先后攻下徐州、淮阳、泗州，进袭扬州。二月初三日，南迁扬州的宋高宗得到金军攻陷天长军（安徽天长）的消息，惊慌失措，落荒逃至杭州。五月，苗刘兵变被镇压后，高宗移驾建康。就在高宗移驾建康时，杜充借“勤王”之名，行脱离危险之实，准备离开开封，前往建康。
岳飞于六月下旬刚回军开封，就接到杜充南撤的命令。飞向充苦谏：“中原地尺寸不可弃，今一举足，此地非我有，他日欲复取之，非捐数十万众不可得也。”充不听。飞无奈，只得率军随之南下。开封随后于次年二月陷落。
高宗对杜充放弃开封的举动不加责罚，反而还命他负责长江防务，升任右相。高宗在建康稍事逗留，就又返回杭州，并派使臣杜时亮向金营呈送《致元帅书》。
屈辱的书信，并未取得金人的怜悯。1129年秋，金军又兵分多路向南进犯。完颜挞懒（汉名昌）领军进攻淮南，完颜兀术（汉名宗弼）则领军直接进攻江南，直捣赵构所在的临安（杭州），只图一举灭亡南宋，占领整个宋朝领土。
十一月初，兀术占领长江北岸和县。金军沿长江北岸东进，与李成合攻乌江，离建康不到百里。杜充向朝廷上报“督师诣采石防守”，却深居简出不做准备。岳飞入杜充寝阁，苦劝再三至于流涕，但也无济于事。
听到金军渡江的消息后，杜充才派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王[王燮]的一万三千人策应。陈淬率军力战，飞率右军和金国汉军万夫长对阵，王[王燮]却不战而逃，陈淬战死，诸将皆溃，飞苦战无援，整军退屯建康东北的钟山。杜充又弃建康，逃往真州，不久降金。建康失陷。
</div>