咸丰四年三月左宗棠入湖南巡抚骆秉章幕，充任幕僚。左宗棠刚回湖南旧居，骆秉章即接连派遣专人，携带巡抚、布政使、按察使三位大员的亲笔书信和优厚聘礼，热诚邀其入幕，左宗棠辞而不受。曾国藩东征之前贻书邀其入幕，也被他拒绝。这时，太平军已占领湘阴，扬言要活捉左宗棠，距其避难之所梓木洞仅五十里，他只好携带女婿陶桄以“捐输”为名逃往长沙，随即带勇接出眷属，全家移居省城。这样，左宗棠再也无法拒绝骆秉章等人的盛请婉劝，只得答应“入署襄办”，但“仍不受关聘”（骆秉章：《骆文忠公自订年谱》，咸丰四年三月条。）。
左宗棠居骆秉章幕府，“事无大小，专决不顾”，“监司以下白事，辄报请左三先生可否。”（徐宗亮：《归庐谈往录》，第1卷，第9页。）以致“唯时楚人皆戏称左公曰‘左都御史’，盖以骆公官衔不过右副都御史，而左公权尚过之。”于是，左宗棠“练习兵事，智略辐凑。骆公专任以军谋，集饷练兵、选用贤将”，很快把湖南建成清王朝镇压太平天国革命的基地，不仅屡却强敌、“两败石达开数十万之众”，牢牢控制这一首要之区，而且分兵四出，“援黔、援粤、援鄂、援江西”，卒使骆秉章“丰采几与曾、胡二公相并，则左公帷幄之功也”（《庸庵笔记》，第2卷，第9页。）。其时，左宗棠已因功保奏官职，咸丰七年清政府还有意令其“帮同曾国藩办理军务”（《左宗案年谱》，第59页。），皆不愿俯就。且曾私下向人表示：“鄙人二十年来所尝留心，自信必可称职者，唯知县一官。”“此上唯督抚握一省大权，殊可展布。”“若真以蓝顶加于纶巾之上者，吾当披发入山，誓不复出矣。”（《左文襄公书牍》，第2卷，第28页。）这就更使人认为，他在实际上已是有实无名的巡抚，隐操一省大权。若非樊燮控案引来的一场政治风波，迫使其于咸丰九年十二月“辞骆公，荐刘公蓉自代，请咨赴京会试”，离开湘抚幕府，此事尚不知如何终了。然而，在这场镇压太平天国革命的战争中，他的实际地位和作用，已与曾、胡相近，隐成三足鼎立之势，虽未投到曾国藩的麾下，却已为清政府和这个正在形成之中的军政集团，立下了不可抹灭的功勋。毛鸿宾称其在骆秉章幕，“血诚自矢，思虑精专”，“自刑名、钱谷、征兵、练勇与夫厘金、捐输，无不布置井井，洞中机宜。”（毛鸿宾：《毛尚书奏稿》，宣统二年刊，第3卷，第26页。）左宗棠自己也说：“湘中财赋，不及江浙七郡之一。自军兴以来内固疆圉，外救邻封，未尝请太府之钱，未尝乞领邦之助，兵无饥噪之事，民无困敝之虞。”（《左文襄公书牍》，第5卷，第61页。）所谓“骆秉章之功实则左宗棠之功”，“天下不可一日无湖南，湖南不可一日无宗棠”，绝非虚语。
曾国藩办理团练的时间，虽较江忠源、胡林翼为晚，较李鸿章为短，但其父曾麟书和二弟曾国潢，却早在道光二十九年就在家乡组织“安良会”，对付“吃排饭”的饥民。咸丰元年在湖广总督程矞采、湘乡知县朱孙诒的支持下，曾麟书、曾国演父子又和刘东屏、刘蓉父子组织团练武装，镇压湘乡县境内的民众抗粮斗争。他们亲自购置眼线，率勇捕人，连自己的亲戚朋友也不放过，很快把这场斗争镇压下去。咸丰二年湘乡全县普遍办起团练，县城设立总团，下设三个分局，曾麟书以湘乡首户充任总团长。
咸丰二年曾国藩奔丧回籍之后，尽管丧服在身，亦仍不甘寂寞，特写《保守太平歌》一首，意在动员地主士绅，积极组织起来，对抗农民起义军。出任团练大臣之后，又别出心裁地将“团练”一词一分为二，于积极募练勇营的同时，在全省推行团练保甲制度，设立审案局，残酷镇压农民的反抗活动，声言只要“良民有安生之日”，即“身得残忍严酷之名亦不敢辞”（《曾文正公奏稿》，第2卷，第3页。）。他办案不经有司，定罪不要证据，废除一切司法制度和办理程序，仅根据团绅的言词与要求即可置人死地：或者就地正法，或者杖毙堂下，或者瘐死狱中。按照湖南司法惯例，一切送省审理的案件，都应先交首府首县善化县衙讯办。故在曾国藩的审案局设立之后，仍有人将疑犯送到那里。而曾国藩则嫌他们杀人太少太慢，竟不顾别人脸面，强行将人从善化县衙提走，施以重刑。曾国藩这种既违人道、又属越俎代庖的做法，在官绅民众中引起极大不满，不仅被冠以“曾剃头”、“曾屠户”的徽号，还暗中鼓动提标兵哗变，群起围攻团练大臣公馆，枪伤曾国藩贴身警卫，迫使他灰溜溜地离开长沙，实际上是被赶出了湖南省城。曾国藩移驻偏居湘南的衡州之后，全力编练湘军，无暇顾及团练保甲事项，虽仍保有审案局名目，亦不再过问民间案件。
除上述首脑人物外，这个集团的骨干成员中，也有不少人具有在籍办理团练、镇压农民起义的经历，而湘淮军的早期将领则大部分如此。湘军早期将领主要由八旗、绿营弁兵和士绅组成，旗、绿营弁兵主要是多隆阿、塔齐布、杨载福、鲍超、田兴恕等人，士绅则主要是罗泽南、王錱、李续宾、李续宜、彭玉麟、刘长佑、刘坤一、蒋益澧、刘腾鸿、杨昌浚等人。彭玉麟、刘长佑、刘坤一三人都曾参加过镇压李沅发起义的军事行动，前面已经述及。刘长佑、刘坤一曾长期追随江忠源办团练，参加过包括蓑衣渡伏击在内的一系列军事活动。当咸丰三年十一二月间江忠源被围于庐之时，刘长佑曾带勇援救，因中途受阻未能到达。江忠源死后，刘长佑和江氏兄弟便投到湖南巡抚骆秉章，实际上是左宗棠的门下。其余如罗泽南、王錱、李续宾、李续宜、蒋益澧、刘腾鸿、杨昌浚等人皆籍隶湘乡，而王、李、李、蒋、刘、杨数人又都是罗泽南的学生。湘军始源于湘乡练勇，要弄清他们湘军创建之前的情况，还须从湘乡团练说起。而湘乡团练所以优于他县，则又同知县朱孙诒的积极活动分不开。
朱孙诒字石翘，江西清江人，捐纳出身。始为刑部主事，旋改知县，分发湖南，历署宁乡、长沙知县，道光三十年移署湘乡知县。其时，由于漕务积弊和前任知县贪渎，官绅严重对立，饥民成群，会党活跃，呈现出动乱在即的种种征兆。朱孙诒上任后，首先逮捕“陈胜祥、刘福田等置之法”，严厉镇压了会党、饥民的反抗活动，随后即动手解决官绅之间的矛盾。他通过王錱了解到士绅的基本情况和要求，便于改变漕粮征收办法、消除官绅之间对立情绪的同时，着意对湘乡士绅的中坚分子加以拉拢，“举罗泽南孝廉方正，县试拔刘蓉冠其曹，延王錱襄幕，于康景晖、李续宾、李续宜皆奖勖之”（《清史稿》，第40册，第12347页。）。咸丰二年春太平军久攻桂林不下，有北上入湘迹象，广西巡抚邹鸣鹤急移咨湖广总督程矞采，促湖南早作准备。消息传出后，湖南各县纷纷举办团练，湘乡县尤为积极。朱孙诒亲自召集全县巨绅，议定团练章程，并决定在湘乡县城设团练总局，下设三个团练分局，地点分别在县城和永丰、娄底两镇。太平军进入湘南后，湖广总督与湖南巡抚命各县团练武装沿途阻截。朱孙诒“集团丁分三营，以罗泽南领中营，易良干副之；王錱领左营，杨虎臣、王开化、张运兰隶焉；康景晖领右营。罗信南综粮糈，谢邦翰治军械。”（《清史稿》，第40册，第12348页。）开始分发号衣，集中训练。为报知县朱孙诒的知遇之恩，王錱在营伍编练过程中表现最为积极。“始分给号衣，群然耻为异服，不肯服。公（指王錱）则取一号补自著之布袍，乃定。”于是，王錱“以意创为营制、号令，日夜与罗忠节公编束队伍，令友人弟子分领之，亲教之步伐、技击。每教一人讫，则以一算珠令衔之，牵使就列，乃复进一人，教之如前。”（《湘军人物年谱》（一），第48页。）其办法虽然较为原始，态度却相当认真。太平军围攻长沙期间，清政府大军云集，将太平军四面包围，湘乡团练也积极参加防堵活动，“王錱、康景晖、赵焕联分驻要隘，罗泽南、易良干防县城，伏莽蠢动，即时捕灭，县境肃然。”（《清史稿》，第40册，第12348页。）湘乡团练遂名响全省，为巡抚所知。
