本来谢万听郗昙撤退，就疑心燕军兵锋太盛，不敢再往前走了。这时候听到李恒的建言，深以为然，便出生道：“好了，诸位参军不必再相争，本督心意已决，着胡彬统领北伐诸军，退回下蔡！”罢便让部曲打点行装，连大营也不会，直接带着幕僚们快马加鞭地向南撤退了。

却众将在大营之中等待谢万，正自不耐，却听得快马来报：北中郎将退守彭城，谢都督向南退走，着长史胡彬带军队撤回下蔡！

众将军简直不敢相信自己的耳朵，一军之主将，竟然连个招呼都不打就独自跑了！辅国将军王度暴跳如雷，大声喊道：“老贼误国，竟敢弃军而逃，置大军于险地，我这就去宰了他们！”

一时诸将纷纷起哄，就要去追击谢万。

何容劝道：“谢氏毕竟是高门世家，诸位今日杀了谢万，形同造反，谢家岂肯干休？谢都督弃军私逃，朝廷必然不会坐视不理，诸位同袍何必逞一时意气，白白断送了自己的前程！”

胡彬也道：“看在谢安石的份上，大家暂且饶过谢万！此事朝廷自有处置。现在最要紧的是怎么解决目前的困境。”

诸将虽然心中不忿，到底不敢犯上作乱，只得作罢。没有主将，这仗算是打不成了，但是撤退顺序，是亟需解决的问题。

谢万在时，诸将有所顾忌，尚能勉强行动统一。主将南逃，诸位将军互不统属，营中又流言纷纷，有燕军势大，北府兵惨败的。有燕国十万大军，倾国而下，转眼及至，势不可挡的。淮水以南的诸军只想着撤退回淮水以南，依托淮水抗击燕军。河南诸军却舍不得自己的地盘，再还有军属留在河南各地，不能弃之不顾。诸将无法达成一致，于是便各自引兵撤退。征调而来的民夫听燕兵势大，纷纷结伴逃跑，一时间各军也不管辎重，丢兵弃甲，四处溃逃。各将的部曲私兵虽然恐慌，尚能围在主将周围听用，所征发的兵家子和招募来的兵马，则趁机四散而去。溃兵分散各处，又无辎重，难免祸害百姓，有三五成群向南逃得，也有趁势聚众落草的，不一而表。

胡彬看着满目疮痍的大营，仰长叹：“宁肯为好汉子牵马坠蹬，不为赖汉子当祖宗！我胡彬却是在为谢万这个赖汉子牵马坠蹬！”

身边的部曲将胡范安慰道：“将军安心，这不是将军一己之力能够控制的！眼下诸军已退，咱们也撤了吧！”

胡彬看着身边剩下的五百部曲，叹息一声，纵马南归。

刘义之率领三百轻骑，五百步卒，打着征虏将军刘建的旗号，沿涡水向北运动，但凡遇到溃兵，全部拿下，整编成伍，不服训令的一律格杀。一路上滚雪球一般，人数越来越多。溃卒散落乡里，大批百姓闻讯，害怕胡骑屠杀，也成群南逃，刘义之但凡遇到，一律整编，并安排船只，沿涡水南下，送至马头城。

这日远离涡水到了一个地方，叫做贾家村。骑兵队长刘程笑道：“长史，这些日子我们也收编了不少人了，原先不过八百人马，现在不算送回马头的，也已经有两千了，后勤吃紧啊！簇离马头要差不多两百里了吧，再往北走只怕就会遇到鲜卑骑兵了，咱们是不是开始往回走？”

刘义之笑道：“没那么玄乎，不过也确实该往回走了！刘洪，你带领所有的步卒乘船回马头城吧！我带着骑兵在附近搜索一番，自回淮水渡口！”

刘洪拱手称是，自带着人去寻涡水上的船只。