谢安这才连夜召开紧急军事会议，命龙骧将军胡彬率5000水军守寿阳，让谢石、谢玄带8万精兵北上阻止秦军。其他将领如辅国将军谢琰（谢安之子）、西中郎将桓尹、刘牢之等也都一一受命。众将见主将谢安神态自若，毫无惧色，也都信心大增，领命而去。
胡彬率军赶往寿阳，不料途中便听说寿阳失守。于是迅速率军驻扎到硖石这个军事要冲。而秦军自南下以来，打了几次小胜仗，便以为晋军不堪一击。派人到谢石处去劝降，想不费一兵一卒就使晋军归顺。
可惜的是，他派去的朱序是东晋降将，见了谢石非但不劝降，反而鼓励他抗击秦军，并向谢石透露军事情况。谢石见他态度诚恳，所说又与探马所报基本相符，心里就有了底。派刘牢之率5000精兵深夜去劫洛涧梁成的大营。
梁成本来就觉得晋军不值一提，又得知苻坚派人前去劝降，更加放松警惕。晚上睡得正香，便被人在梦中取走了脑袋。梁成大营一时乱成一团。许多士兵还没穿衣服就死于非命，而晋军愈战愈勇，直将秦军杀得大败，只有梁成的副将王显带着几个亲兵逃走。
王显跑到苻坚大营，告知情况。苻坚闻听梁成5万大军被人家5000军兵杀得全军覆没，盛怒之下，竟将王显也斩了。
刚杀了王显，就有人来报，围攻硖石的军队也被晋军大败。当天夜里，苻坚又听说秦军在淝水（东淝河，从合肥西北到八公山南汇入淮河）吃了败仗，不禁大惊失色。显然，他是有些后悔自己的伐晋之举了，可他现在已是骑虎难下，只有硬着头皮上。