却说谢万领军自出下蔡北上，大军逶迤而行，每日不过三十里，行军安排自有长史胡彬主持，谢万照旧每日与幕僚行乐，也不巡营，诸将愈发不满。江淮之间的这些武将，除了军府直属的兵力，大多都挂着各地郡守的职务，除了能从军府获得拨付的钱粮，还有自己的场务能够赚钱、有随军的士兵家属等以供役使，实乃名副其实的军阀，土皇帝一般；即使没有行政职务的，所带的兵马也大多数是自己招募的，形同私兵。谢万如此做派，这些军将如何肯为他出力，有几个脾气暴躁的就要脱离谢万大军离去。胡彬和何容等几个谢氏的老将以及参军高柔等极力安抚众将：谢氏相容简拔之恩，不可或忘，何况北方强敌再侧，众将务必安抚部曲，同舟共济云云。
这日抵达陈郡阳夏，阳夏乃是谢氏故郡，谢万下令大军就地驻扎休整，自己亲自带着一队部曲造访故乡，缅怀祖先。
自谢万到豫州后，豫州军府资用不足，这些军将颇过了些苦日子，这时候驻扎下来，便就有兵卒到乡里勒索钱财吃食，为祸乡里。消息传到胡斌耳中，因这些日子诸将群情汹汹，他也不敢按军纪处置，何况他的手下手脚也没有干净到哪里去。谁知道被参军李恒在谢万面前添油加醋的说了，惹得谢万大怒。此处是谢氏的旧地，虽然大部分谢氏族人都已经南迁，到底还是有些乡土情怀，谢万便差李恒去责问胡斌，要他处置这些兵卒。
“处置？”胡彬冷笑道，“这样的乱兵各个将军的营中都有，有本事李参军去处置吧！”
李恒大怒，指着胡彬道：“你个粗鲁武夫，下贱人胚，竟敢抗令不尊！”
胡彬大怒，对着李恒大骂：“你算个什么东西，成天摆弄是非，再敢聒噪我宰了你！”手下亲兵听了，拔出了刀来一起上前，就要乱刀砍了他。
李恒哪里见过这等阵势，吓得脸色惨白，转身灰溜溜地跑了。
“呸，没卵子的东西！”胡彬唾骂道。
李恒回去之后，又狠狠地向谢万告了胡彬一状。只是谢万再蠢，也知道现在要靠着胡彬掌握军队，虽然生气还是好言安慰了李恒几句，没有再深究。不想快马来报，北中郎将郗昙，从金平退守彭城，一语把个谢万惊得魂飞魄散。
参军李恒心里害怕，对谢万道：“都督，常言道虎父无犬子，北中郎将父子两代掌兵，颇通军事，北府军又一向骁勇，这样的军队尚且拼不过燕国铁骑，豫州军府这些兵将，军纪败坏，恐怕更是难以抵御啊！”
参军高柔是谢尚看重的人，多年在军府之中，颇通军事。他出言反对道：“不然！燕军骑兵虽然善战，却并不熟悉河南地理，从来不敢深入河南地。北府军虽然退却，却没有过来通报说是战败。现在情况不明，我军不妨占据城池，就地驻扎，同时多派斥候细作，了解详情之后再做定夺！”
李恒抗声道：“战场之事，瞬息万变，岂可缓缓图之？何况此举是将都督置于危险之地啊！”
参军杜袭笑道：“两位不要争辩了！河南地回归晋土不过十年，期间又多经战乱，士民并不归心。稳妥起见，大军不妨退回寿春，再做打算！”
高柔反对道：“大军进退，岂是如此儿戏？现在民夫千里转运粮草至此，一旦退却，我军必然损失惨重啊！”
李恒冷声道：“大军撤退，自然千难万难。都督撤回寿春却并不难！都督身份高贵，身系豫州安危、社稷之重，岂能置身险地？”
本来谢万听说郗昙撤退，就疑心燕军兵锋太盛，不敢再往前走了。这时候听到李恒的建言，深以为然，便出生道：“好了，诸位参军不必再相争，本督心意已决，着胡彬统领北伐诸军，退回下蔡！”说罢便让部曲打点行装，连大营也不会，直接带着幕僚们快马加鞭地向南撤退了。
却说众将在大营之中等待谢万，正自不耐，却听得快马来报：北中郎将退守彭城，谢都督向南退走，着长史胡彬带军队撤回下蔡！
众将军简直不敢相信自己的耳朵，一军之主将，竟然连个招呼都不打就独自跑了！辅国将军王度暴跳如雷，大声喊道：“老贼误国，竟敢弃军而逃，置大军于险地，我这就去宰了他们！”
一时诸将纷纷起哄，就要去追击谢万。
何容劝道：“谢氏毕竟是高门世家，诸位今日杀了谢万，形同造反，谢家岂肯干休？谢都督弃军私逃，朝廷必然不会坐视不理，诸位同袍何必逞一时意气，白白断送了自己的前程！”
胡彬也道：“看在谢安石的份上，大家暂且饶过谢万！此事朝廷自有处置。现在最要紧的是怎么解决目前的困境。”
诸将虽然心中不忿，到底不敢犯上作乱，只得作罢。没有主将，这仗算是打不成了，但是撤退顺序，是亟需解决的问题。