占领金华城后，张无易并没有立即朝着衢州进发，而是在金华府整顿军队，两万多清兵俘虏，经过一般筛选后，有两万人愿意加入兴夏军，最后经过一般筛选，兴夏军吸收了一万五千人，五千多人成为民夫。其他还有七千多人要求回家，兴夏军则按政策，一人发了一两银子遣散回家，对于他们回去后是否又加入清兵，张无易倒不担心，因为这些人在被兴夏军俘虏过，如果再度遇到兴夏军，其战斗意志就会大降，稍有不对，就会投降，因为他们知道，兴夏军不会虐待俘虏。后世红党在与白党战斗时，为啥红党军队越来越多，而白党军队越来越少，优待俘虏起了极大的作用。
老鸦山一战，兴夏军缴获丰富，不仅有武器，还有粮食、银两和物资，张无易暂时不担心后勤，经过十多天的休整，兴夏军再度壮大，不仅是数量上，还包括质量，经过数次战斗，几个月前加入的兴夏军已经成为老兵，还加上一万多加入的清兵，整支部队的老兵已经达三万五千人左右，其他一万多人虽然差一点，但只要给他们时间，他们的战斗技能一样能上升。
感到时机已经成熟，张无易率领四万五千多兴夏军朝着衢州城逼近，他要拿下衢州城，让王鹭率领的大军不仅要背腹受敌，而且断了清军的后勤，要知十多万清兵一天需要海量的物资，基本上都堆积在衢州城里，只要拿下衢州城，王鹭的闽浙大军就不攻自破。
衢州城，杀声震天，兴夏军在这里已经进攻了七天时间，在前四天，兴夏军占领了清兵在城外布下的三道防线，把清兵赶回城内，然后用了一天时间清理了衢州外地障碍物，填平了护城河，开始进攻衢州城城墙，到现在，已经进攻了两天。
衢州城内有两万多清兵，还有上万名拉来的民夫，而进攻衢州城的兴夏军约五万人，其他还有数千人负责阻击从江山县来的援军。
随着一声巨响，衢州城南面长达五十多米的城墙被炸塌，兴夏军蜂涌而入，与清兵在缺口入与兴夏军进入肉搏，双方先是用火枪射击，然后用手榴弹对轰，最后行进肉搏。同时，双方的火炮都朝着缺口后面射击，阻止对方的援兵。
双方在缺口处投入了数千兵力，前仆后继，一方誓要拿下缺口，一方誓要守住缺口，尸体在缺口处堆起一米多高，最后踏着尸体继续战斗。
不过，随着第二处城墙被炸塌，兴夏军与清兵再次在缺口处交锋。
“轰、轰、轰！”双方的火炮不停地轰击着缺口后面，阻止援兵到来，现在，双方的思想觉悟就体现出差距，清兵的不兵吃粮拿饷，兴夏军则具有崇高的思想，战斗力虽然差不多，但意志力却相差甚远，大火炮的轰击下，清兵不敢冒着炮火增援缺口，但兴夏军却敢，这些兴夏军在兴夏会员的带领下，前面战士倒下，后面的战士又冲下来，一波又一波，一旦无法抵挡，就拉响身上的手榴弹与清兵同归于尽，清兵开始畏惧不前，当兴夏军的后续部队到达缺口时，缺口处的清兵再也挡不住，开始溃逃，兴夏军趁机冲入衢州城。
衢州城内的清兵战斗意志还是不错，在兴夏军攻入城内时，并没有彻底溃败，而是组织大军反攻兴夏军，誓要把兴夏军赶出衢州城。
不过，城破后对清兵的打击还是不小，随着越来越多的兴夏军攻入城内，高喊缴枪不杀的口号，一部分清兵开始溃败，但更多的清兵却拒不投降，依然坚持战斗。
巷战很残酷，双方一条街、一条巷地争夺，双方的尸体几乎填满了街道，这里房屋太多，而且还有很多百姓，对于不扰民的兴夏军来说极为不利。
眼见兴夏军伤亡太大，张无易下令把火炮拉入城内，凡是哪幢房里有清兵就用火炮轰击，如此一来，才打压住清兵的气焰。
双方巷战打了两天，随着一条又一条街道被兴夏军占领，清兵再也坚持不住，变成了溃败。
守卫衢州的是衢州总兵李成善，眼见大势已去，最后率领一万多清兵从北门突围，进攻衢州城，兴夏军采取的是三围缺一的战术，北方，就是缺一那一方，以免清兵无路可逃采取困兽之斗。
不过，当清兵逃出城时，东方和西方的兴夏军立即开始合围这一支清兵，李成善本来想带着手下朝江山方向逃走，然后与王鹭的大军汇合，但江山却在西南方，眼见两路兴夏军合围，哪里还敢去江西，带着手下朝着北方亡命逃跑，一路上遭到兴夏军追击，最后丢下大部手下，只带着亲卫和骑兵逃之夭夭，而那些步兵最终成为了兴夏军的俘虏。
衢州一战，两万多清兵伤亡五千多人，俘虏一万二千多人，逃走两千多，还有两千多人不知所踪。
而在前河、招贤一带，五千兴夏军正遭到三万多清兵的进攻，当王鹭知道兴夏军兵临衢州时就派出清兵援军，只是在兴夏军在前河、招贤一带却被五千兴夏军挡住，清兵猛攻兴夏军阵地，虽然迫得兴夏军不停丢失阵地，但兴夏军却让清兵进军缓慢，还没有等他们赶到衢州城，衢州城已经被兴夏军攻破，眼见兴夏军的援军到来，王鹭无奈下命令撤退。
康熙三十一年十一月三日，张无易率领五万兴夏军进逼江山，同一时间，魏怀远率领十万东路军开始反攻，王鹭眼见不好，不得不撤走正在进攻的清兵，朝着江山撤退。
十一月十日，张无易率领的浙江兴夏军与魏怀远率领的江西东路军在江山城南面贺村会师，此时，兴夏军的兵力已达十五万多，而王鹭率领的闽浙联军只剩下十万，双方的兵力彻底逆转。
王鹭也没有想到局势变化如此快，从进攻方变成了被进攻方，最重要的则是兴夏军比清军还多一半，要知兴夏军与清兵的战斗力一直以来就比清兵强，同样的兵力，如果是野战，兴夏军必定能击败清兵，而现在兴夏军比清兵还多，清兵已经处于劣势。
所以，王鹭一边在江山城附近修筑工事，一边向着安徽的索额图求援，一边派人向朝庭求援。