白文选攻不破顺军的营地立马就意识到了危机，衡阳处于几条水道的交接区，要是顺军大军四面围攻过来，自己可能会在衡阳城下全军覆没。

可是白文选又没有收到明军那边的消息，也不知道明军那边的进展怎么样了。

要是这边退了导致顺军上去把明军干了，那么这波攻势就彻底失败了。

白文选思考了一阵之后决定还是撤退，反正北边那些明军死了也就死了，他还没高尚到为了给明军争取时间把自己搭进去这种程度。

于是白文选决定撤军。

城外的顺军在发现白文选的攻势强度越来越低之后也察觉到了异常，于是，金声桓首先带领士兵对衡阳发起攻城行动，结果出乎意料的，衡阳压根就没几个守军，金声桓轻易地捞到了一个先登加复地的功劳。

得知白文选撤出衡阳之后，谷可成判断大西军这是打算全军撤出湖南了，于是他当即下令，让各路顺军水陆并进，一路杀向零陵，收复沿途各个县城。

很快，各路大军再现了当年顺军如入无人之境的的景象，白文选不想多做逗留，一口气退到了全州，并在象鼻山凭高修建工事，防止顺军就势打进贵州。

顺军没有打进贵州的打算，在将白文选逼出湖南之后，谷可成留下张勇，马得功两人驻扎在零陵和武冈，自己带着湖广集团军的其他部队北上支援湖广北部的顺军。

此前不久，曾英和杨展经过一番激战之后，成功率领明军在夔州一带战胜了白杆兵，白杆兵全部缩回石柱，明军随即尾随而至，将石柱团团包围起来。

眼看石柱已经成了瓮中之鳖，杨展与曾英商量了一阵之后决定让曾英继续指挥明军围困石柱，杨展自己带着另外一部明军顺江而下，攻取荆州。

明军一路上连破巫东，秭归，夷陵，很快大军就进抵宜都城下，离荆州已经不远了。

杨展于是将军队屯驻在虎牙山一带，准备等顺军主动来仰攻虎牙山的时候大量杀伤顺军，如果能在虎牙山下大量杀伤顺军，那么明军就可以直扑荆州，拿下这个战略要地。

当然杨展之所以不直接杀过去，是因为明军难得的数量优势已经没有了，随着许定国和刘泽清的河南集团军抵达荆州，荆州附近的顺军人数已经超过了明军。

河南集团军的司令是许定国，但是李定国虽然受封成了河南集团军司令，但实际上他是指挥不动刘泽清及李成栋这些人的。