咸豐二年年底，曾國藩風(fēng)塵仆仆地趕到了長沙。當(dāng)時(shí)張亮基已經(jīng)招募了部分湘勇，而且湖南各地自行招募的湘勇也陸續(xù)集中到長沙。這些地方武裝中有一個(gè)人帶領(lǐng)的隊(duì)伍不得不提，這人就是羅澤南。羅澤南，字仲岳，號(hào)羅山，和曾國藩是同鄉(xiāng)。此人是當(dāng)時(shí)湖南屈指可數(shù)的人物，是一位理學(xué)大家。他和曾國藩是兒女親家，曾中藩的弟弟曾國華、曾國荃都是羅澤南的學(xué)生，羅澤南的學(xué)生遍布湖南，他的威望使不少學(xué)生投入曾國藩門下成為湘軍的骨干，如李續(xù)賓、李續(xù)宜等人。而羅澤南的作用既是為湘軍打下了良好的前期組建的基礎(chǔ)，又為后來湘軍的發(fā)展做出了重要貢獻(xiàn)。

在建設(shè)湘軍的最初階段，羅澤南帶來的千余名湘勇成為湘軍最早的班底，也是曾國藩最為倚仗的“嫡系”。怎么建立一支訓(xùn)練有素的軍隊(duì)是擺在曾國藩面前的一個(gè)難題。對(duì)此曾國藩早就胸有成竹，別忘了他在兵部干過侍郎，對(duì)于八旗、綠營的種種弊端十分清楚。對(duì)挑選士兵他有自己的標(biāo)準(zhǔn)，就是那些在深山里的農(nóng)民兄弟們。

這些人樸實(shí)本分，說得難聽一些就是有點(diǎn)兒傻，但就是這種“傻”，對(duì)血親的認(rèn)同感很強(qiáng)，為了自己的同鄉(xiāng)可以犧牲生命。這就把曾國藩認(rèn)為軍隊(duì)最大的弊病—“敗不相救”解決了。而有三類人，曾國藩是絕不會(huì)用的。一是逃兵，二是街頭的小混混，三是曾經(jīng)為官府做事的人。曾國藩認(rèn)為這三類人油滑有余、誠實(shí)不足。在這樣的指導(dǎo)思想下，湘軍成立之初就嚴(yán)格抓住了士兵成分這個(gè)關(guān)鍵，奠定了以親情、友情、鄉(xiāng)情為核心的軍隊(duì)基礎(chǔ)，得以成為戰(zhàn)斗力驚人的湘軍。

在組建部隊(duì)的同時(shí)，曾國藩對(duì)整個(gè)湖南的形勢(shì)有了一個(gè)比較清晰的認(rèn)識(shí)。太平軍此時(shí)已通過湖南向長江下游挺進(jìn)，湖南暫時(shí)還是安全的，去主動(dòng)找太平軍的事兒，那是不可能的，辦團(tuán)練的主要目的是自保。湖南是個(gè)多會(huì)黨的地方，因?yàn)樯蕉嗪用埽栽斐闪朔辞鍎?shì)力遍布湖南，比如說天地會(huì)、串子會(huì)、紅黑會(huì)等。在太平軍襲擊湖南期間，很大一部分的會(huì)黨人員加入了太平軍，跟隨他們東進(jìn)。曾國藩現(xiàn)在的想法就是先穩(wěn)定湖南的局面，想穩(wěn)定局面就要從解決這些不安分的人下手，可這些人并不好對(duì)付，如果好對(duì)付早就解決了。