虽广东外海水师也亟待扩充力量，不过，咸丰皇帝想了想，还是认为镇压太平军是当务之急。洋鬼子再闹腾，无非是想多占一点“小便宜”，威胁不到皇位；但是，太平天国运动直接威胁了龙椅上的大清皇帝，随时都有可能把爱新觉罗氏从皇位上拉下来。无奈之下，咸丰皇帝咬了咬牙，将拨给广东水师的四万两白银挪用给湖北、湖南、四川三省，谕令三省尽快组建内江水师，以对付太平军。吴文熔接到四万两白银后，命令江忠源付诸行动。江忠源岂敢怠慢，与湖南巡抚骆秉章一商议，决定拿出三万五千两建立绿营水师，另外五千两送给曾国藩，请曾国藩建立湘军水师。江忠源与曾国藩不谋而合，立刻投入了组建水师中。有了训练陆军的丰富经验，训练水师还难吗？
但往往事与愿违。首先是招募水勇就遇到了麻烦。湘潭、郴州、桂阳一带人水性很好，但那几个地方多会党，地方势力很大。曾国藩担心从那里招来的水勇不服管教，万一会党分子混入其中，将来后患无穷；湘乡一带人虽然老实、憨厚一些，但他们不习水性，加上连年在家乡招募兵勇，所剩年轻力壮的小伙子已经不多了。布告张贴半个多月了，前来报名者寥寥无几。眼见到了秋后（咸丰三年，1853年），湘军水师仍是“八字没画一撇”，能不着急吗？曾国藩和郭嵩焘、罗泽南、塔齐布、杨载福等人一商量，大家横下一条心：宁愿招不到水勇，也不在湘潭、郴州、桂阳一带滥招游手好闲之徒或会党分子。就在这时，湘乡一带发生了百年不遇的旱灾，秋后几乎是颗粒无收。不少小伙子与其在家争亲人的那口饭或等着饿死，不如投靠老乡曾国藩。由于湘军陆勇待遇比绿营军好，也因为曾国藩善于循循诱导，所以在湘乡一带口碑很好。一时间，“投靠老乡曾国藩、有吃有喝也有穿”成了高湄山人的口头禅。几乎是一夜间，水勇招到了五千多人。一看水勇，曾国藩心中十分欢喜。四弟曾国葆和大将领杨载福招来的全是健壮魁梧的青年农民，一个个模样憨厚，无油嘴滑舌之相。这样的人吃苦耐劳，又不斤斤计较，只要加紧训练，很快便能出征。