这显然不是耿精忠愿意看到的结局，他还是想先拿下杭州，因此下令将领们尽可能压制士兵心中不满，督促攻城，可将士家眷皆在福州哪还肯在杭州卖命。

其叔耿继善更是不顾侄子劝说领所部兵焚毁营盘撤走回救兄长。

耿继善这一撤，使得耿精忠处境极其尴尬。

虽然一手主导抗清的是他这个侄子，但他毕竟只是世子，其父耿继茂才是真正的王。

因此他这个侄子都没法指责叔叔擅自撤军。

眼见形势已经由不得他不撤，耿精忠无奈只得下令全军放弃杭州南撤。

曾养性担心杭州清军尾随而击，自领精兵6000担任后卫，并向世子表示放弃杭州可以，但绝不能再放弃绍兴、宁波、台州。

耿精忠留给曾养性三万兵马继续与清军周旋，亲领主力四万余昼夜回援福州，同北上时意气风发不同，南下“回家”路上，耿精忠不仅心烦意乱，还屡屡无端对部将发脾气。

耿军这一撤，真就挽救了杭州满州两万多驻防八旗，也挽救了岌岌可危的浙江战局。

得知叛军南撤，先前在溧阳顿兵不进的江宁将军额楚跟打了鸡血似的一日猛进八十里，浙江总督赵廷臣、杭州将军图喇也不约而同向燕京派去报捷的快马。

原先不少投降耿军的清军也再次改换门楣，使得耿军在浙江的大好局面坏了许多。

两江总督郎廷佐得知耿家和郑家闹翻且正在兵戎相向后，大喜之余向燕京上书称：“精忠被海寇所逼无疑，我大兵宜乘机前进收复失地。”

浙江巡抚蒋国柱则上折子建议继续招抚耿氏父子，可令耿精忠亲弟耿继忠奉皇帝敕谕前往福建，重申朝廷宽免其弟聚忠、昭忠及族中官员、一切亲属及精忠属下官兵之罪，向精忠“明白晓谕招抚”，促其投诚。

若耿氏父子愿意重归大清，父子皆可为王。

蒋国柱折子最后提醒朝廷广东平南王尚在坚持，若广东战局稍有缓和，不妨令平南王遣兵同台湾郑氏合击耿氏父子，以迫耿氏重新投诚。

这位曾经在江宁重创郑经之父郑森的巡抚大人，竟视郑氏为大清盟友。