嘉庆初年镇压白莲教起义时，清政府曾号召所在地方官举办团练，协助绿营兵堵截追杀。最出名的团练武装主要有两股，分别由四川土匪罗思举和游民桂涵带领，其凶残亡命过于官军，为清政府屠杀革命人民效尽犬马之劳。后来二人皆官至提督。鉴于这一历史经验，清政府在镇压太平天国革命和各地会党活动之初，就非常重视团练的作用。早在道光三十年九月，清政府就指示两广总督徐广缙亲赴广西劝谕士绅举办团练，至咸丰元年四月，广西地方官向清廷奏称，广西已通省举办团练，并一再奏报团练武装捕杀当地会党群众的情形，为反动士绅请功。团练武装不仅在各地拦击小股起义队伍，袭杀零散会党群众，还直接配合清军围剿太平军。太平军紫荆山根据地的双髻山要隘，就是当地团练武装配合清军向荣部攻陷的。咸丰二年太平军进入湖南，清政府又命令两湖地方官，尤其湖南官员举办团练，并令原湖北巡抚罗绕典驰赴湖南，协助湖广总督与湖南巡抚劝谕士绅，办理团练。不过当时还没有任命团练大臣。到了这年秋天，清政府见各地官员出于种种原因，不能有效地组织当地士绅举办团练武装，太平军所到之地，整个统治机器顷刻瓦解，遂采取两条措施，加紧举办团练。一是扩大举办团练的范围。自咸丰三年二月起，清政府发布命令，要求全国各省地方官普遍举办团练，不再限于太平军已经到达的地区。二是任命丁忧或请假在籍的官员为团练大臣，利用其人地两熟、便于联络各地士绅的条件，专门负责团练事务，以弥补地方官之不足。
清政府最早设团练大臣是咸丰二年八月，任命的第一个团练大臣的是江西团练大臣、前刑部尚书陈孚恩；接着，当年十一月二十九日(185318)任命曾国藩为湖南团练大臣；十二月二十五日任命在籍养病的前广西巡抚周天爵为发徽团练大臣；不久，又命工部侍郎吕贤基、翰林院编修李鸿章回安徽原籍办团练。不过这时设置团练大臣还仅限于太平军势力所及各省，人数也比较少。自咸丰三年二月将举办团练的政策推行于全国各省之后，团练大臣也一天天多起来，至当年二月底止，短短一个月内，就先后任命四批团练大臣，连陈孚恩、曾国藩、周天爵、吕贤基在内总计达45人，人数最多的山东一省就有团练大臣13人，比它稍次的江苏省也有团练大臣8人。同时，清政府还命令内阁将咸丰皇帝历次下达的有关举办团练的谕旨以及嘉庆年间明亮、德楞泰的《筑堡御贼疏》、龚景翰的《坚避清野议》刊刻印发各省，参照执行。由此可以看出清政府的团练政策和为动员各地土豪劣绅举办团练所做的努力。
湖南地主阶级具有丰富的镇压农民反抗的经验，其举办团练的历史也是由来已久的。早在乾隆末年，辰州府凤凰厅同知傅鼐就曾用普遍筑堡办团、募勇集练成军的办法镇压了湘黔边境的苗民起义。道光以来，反动士绅募勇成军镇压农民和少数民族起义的例子更是屡见不鲜，史不绝书，其中最突出的事例是江忠源。江忠源的家乡新宁县文化非常落后，“清代向无捷乡试者，迨丁酉科江忠源以拔贡中式，人谓之破天荒”，以是小有名气。但因其赌博嫖妓，遂为湖南“礼法之士”所不齿，唯与欧阳兆熊、郭蒿焘、曾国藩等人友善。道光二十七年江忠源家乡新宁县爆发雷再浩起义，被他募勇镇压下去。由此名声大噪，保为知县，简发浙江，很快实授秀水知县，不久丁忧回籍。咸丰元年六月赛尚阿充任钦差大臣，疏调江忠源随营差遣。他闻命即起，迅速赶往广西前线，留在乌兰泰幕中参谋军事，并令其弟江忠源募勇五百名带往广西随营作战，号称楚勇，甚得乌兰泰赏识。这是湖南乡勇最早出省作战。咸丰元年底，江忠源从永安城外回家养病，闻太平军围攻桂林，又立刻增募新勇，力疾再出，并邀请刘长佑为助手，兼程赶赴桂林军营。刘长佑(1818—1887)字子默，号印渠，湖南新宁人，出身于一个小富绅家庭。自幼读书，屡试不中，在岳麓书院先后读书十二年，直到道光二十九年始考取拔贡生。这年冬，雷再浩旧部李沅发在新宁起义，刘长佑亲自组织团练，参加了镇压活动。转年经江忠源引荐，在京求见曾国藩。曾国藩对他“深相爱重”，一见即“叹曰：‘戡乱才也’”。他与江忠源自幼气味相投，又是姻亲，所以一得到邀请便欣然应命，从此开始了镇压太平天国革命的反革命生涯。在桂林城外，江忠源、刘长佑率领的楚勇曾屡次与太平军交战，江忠源亦因此迁为知府。后因与向荣意见不合，离营回湘，闻太平军从桂林撤围北上，欲入湖南，急在湘江上游的险要地段蓑衣渡设伏袭击太平军，致使太平军兵力损耗一半，辎重给养全部丢弃，杰出领导人冯云山壮烈牺牲，遭受起义以来从未有过的损失。当时长沙兵力空虚，士无战心，城墙倾圮，城门残缺不全，若太平军沿湘江顺流而下，攻取长沙是很容易的。由于江忠源的袭击，迫使太平军不得不弃舟登陆，绕道湘南，以致丧失了攻克长沙的最好机会。其后江忠源又间道趱程赶往长沙，参加了各路清军防守长沙的战斗，并因长沙城守及镇压会党起义之功擢为道员。
曾国藩的家乡湘乡县也是湖南举办团练最早的县份之一。早在道光二十九年曾国藩的二弟曾国潢就在家乡组织“安良会”，对付吃“排饭”的饥民。咸丰元年刘东屏、刘蓉父子和曾麟书、曾国潢父子在湖广总督程矞采、湘乡知县朱孙诒的支持下组织团练武装，镇压湘乡县境内的抗粮斗争。他们争先购置眼线，率勇捕人，连自己的亲戚朋友也不放过，很快把这场斗争镇压了下去。咸丰二年春太平军攻桂林不下，广西巡抚邹鸣鹤即移咨湖广总督程矞采，言太平军有入湘之象，让湖南方面早作准备。消息传出后，湖南各县官绅纷纷举办团练，而湘乡知县朱孙诒则尤为积极。他亲自召集各乡巨绅议定团练章程，并在湘乡县城和永丰、娄底两处分设三个团练局，号召各乡士绅普遍办团。同时还在湘乡县城成立总团，请曾国藩的父亲曾麟书以湘乡首户巨绅总其成，并敦请著名士绅罗泽南、刘蓉等协办本县团练。
罗泽南(1807—1856)字仲岳，号罗山，自幼家贫，十九岁起以教书为生。他刻苦攻读，屡应乡试不中，直到道光三十年才被湘乡知县朱孙诒举为孝廉方正。罗泽南早年交游不广，道光十八年始与刘蓉交好，道光二十四年又与郭嵩焘、郭嵩焘兄弟相识，直到咸丰元年在善化贺长龄家教书时方与曾国藩通信。罗泽南是个忠于封建礼教的士人，多年来潜心程朱理学，并著有《西铭讲义》、《人极衍义》等书，甚为曾国藩所推崇。曾国藩说罗泽南之志“以为天地万物本吾一体，量不周于六合，泽不被于匹夫，亏辱莫大焉”。他曾长期在善化、湘乡等地教书，向青年学生灌输封建伦理观念，培养出一大批忠于封建秩序的儒生。湘军骨干人物玉錱、李续宾、李续宜、蒋益澧、刘腾鸿、杨昌浚、刘典等都是他的学生。王錱(1825—1857)字璞山，原名开作，字家宾，二十岁入县学，同年投到罗泽南门下为弟子，初办团练时王錱最积极，在罗泽南诸弟子中地位亦最高，湘乡练勇集训之始，他就独领一营，所以后来的湘军将领多为罗、王、江、刘旧部。李续宾(1818—1858)字迪庵，湖南湘乡人。李续宜字克让，号希庵，李续宾胞弟。李续宾年少时膂力过人，不喜读书，因亲老家贫，以贩煤养亲并供弟读书。罗泽南欣赏他的“孝友”，将他兄弟二人一并收为弟子。蒋益澧字芗泉，刘腾鸿字峙衡，杨昌浚字石泉，刘典字克庵，皆为湘乡人，罗泽南办团练时他们都一齐参加进来，后来皆成为著名的湘军将领。
太平军进入湘南地区后，湖广总督程矞采曾令湘乡知县朱孙诒募勇千人赴衡州防堵，从此，湘乡县不仅有遍布各乡的团丁，还有一支由官府出钱、集中于县城进行编练的练勇。当时湘乡练勇有一千多人，分为中、左、右三营，分别由罗泽南、王錱、康景晖带领(后来右营营官改任邹寿章)。太平军离开湖南后，罗泽南因办团练出力被保为候补训导。
除新宁、湘乡而外，湖南的其他县份也办起了团练，用以对付会党起义和群众抗粮斗争。其组织办法与湘乡相似，通常是各乡普遍办团，同时招募部分乡勇在县城集中训练，称为练勇，费用由各府、县官库支给。其余各乡团练则由各乡绅自行筹集，自行经管。在镇压各地会党和防堵、袭击太平军的活动中，除以上两县外，辰州、宝庆、泸溪、浏阳等地的练勇也比较有名，皆已编练成军。这些练勇就成为后来曾国藩创办湘军时最初的组织基础。
另起炉灶、重建新军的思想，曾国藩早在咸丰二年底建议张亮基将所调各县练勇“改募成军”时就很明确。他在给宝庆知府魁联的信中解释采取这一决策的原因说：“就现在之额兵练之而化为有用，诚为善策。然习气太盛，安能更铸其面目而荡涤其肠胃？恐岳王复生，半年可以教成其武艺；孔子复生，三年不能变革其恶习。故鄙见窃谓现在之兵不可练之而为劲卒，新募之勇却可练之使补额兵。救荒之说，自是敝邑与贵治急务。”
然而未来的新军究竟是什么样子，曾国藩胸中并无成熟方案，因而他在建立所谓“大团”时，仅强调“今欲改弦更张，总宜以练兵为要务”。直到这年夏天，江忠源在给清廷的奏折中表示欲采取兵勇混用的办法(从各地征调绿营六千人，从湖南招募官勇四千人，组成一支万人之师)战胜太平军时，曾国藩才致信江忠源等人，指出绿营兵制的根本弊病，将其致败的主要原因归咎于调遣之法不善，提出改革军制的主张。他说，“今日兵事最堪痛哭者，莫大于‘败不相救’四字”，“虽此军大败奔北，流血成渊，彼军袖手而旁观，哆口而微笑”。他认为，造成这种积弊的主要原因是由于调遣成法不善。曾国藩指出，“当其调兵之时，东抽一百，西拨五十，或此兵而管以彼弁，或楚弁而辖以黔镇”，“卒与卒不习，将与将不和”，遂造成“胜则相忌，败不相救”的风气。既然“危急之际无人救应，谁肯向前独履危地，出万死之域以博他人之一微笑？是以相率为巧，近营则避匿不出，临阵则狂奔不止，以期于终身不见贼面而后快”。他认为，太平军所以无往不胜，不仅由于其纪律严明，深得民心，还由于它内部团结，誓同生死，“若非练兵万人，合成一心”，断难制此强敌之死命。因而，这支军队必须“呼吸相顾，痛痒相关，赴火同往，蹈汤同行，胜则举杯酒以让功，败则出死力以相救。贼有誓不相弃之死党，吾官兵亦有誓不相弃之死党”。只有这样，“庶可血战一二次，渐新吾民之耳目而夺逆贼之魂魄”。可以说这是曾国藩对所建新军政治素质的要求，他制定军制改革的各项措施都是以此为出发点的。
曾国藩对绿营军制的改革主要表现在两个方面：一是以募兵制代替世兵制，二是将“兵为国有”变为“兵为将有”。前面已经讲过，绿营兵实行世兵制度，基本上是父子相承，当兵为业，绿营子弟成年后即可随营习武，称为随军余丁，一旦营中出现空额，便可补缺吃粮。所以，绿营一般不从外面招募，只有在余丁不足时才自外募兵补缺。湘军属官勇性质，数额不定，全部招募，且随着形势的变化和需要的不同随时增减或裁撤。曾国藩为了不使湘军染上绿营的种种恶习，首先要求湘军在组织上与绿营彻底割断联系。他认为，绿营的腐败习气已“深入膏盲，牢不可破”，只有“尽募新勇，不杂一卒，不滥收一弁”，“特开生面，赤地新立”，才能“扫除陈迹”，练成劲旅。他还说：“国藩数年来痛恨军营习气，武弁自守备以上无不丧尽天良，故决不用营兵，不用镇将。”曾国藩规定，湘军士兵主要招募健壮、朴实的山乡农民，不仅不收营兵，也不要集镇码头上油头滑面之人，更不要曾在衙门当过差的书役、胥吏之类。湘军的军官，主要招聘绅士、文生充任，对政治、思想和身体条件都有一定要求。曾国藩在给朋友的信中提出四条标准，请人为他物色湘军军官。他说：“带勇之人，第一要才堪治民，第二要不怕死，第三要不急名利，第四要耐受辛苦。治民之才不外公、明、勤三字，不公不明则诸勇必不悦服，不勤则营务细巨皆废弛不治，故第一要务在此。不怕死则临阵当先，士卒乃可效命，故次之。为名利而出者，保举稍迟则怨，稍不如意再怨，与同辈争薪水，与士兵争毫厘，故又次之。身体羸弱过劳则病，精神乏短者久用则散，故又次之。”又说：“四者似过于求备，而苟阙其一则乃不可以带勇。”“大抵有忠义血性，则四者相从以俱至；无忠义血性，则貌似四者终不可恃。”可见条件虽多，关键还是政治思想表现。曾国藩选拔军官始终坚持政治标准第一的原则，只要被他认为“有忠义血性”者，不论营弁、营兵、书生，都可录用。后来成为湘军名将的塔齐布、周凤山、鲍超、杨载福都是营弁或营兵出身。至于其他条件，则各有高低差等，更可以在战争中磨炼和培养了。
