为了加强对士兵的控制和湘军内部的团结，曾国藩又在两个方面做出了努力：一是加强各级军官的权力，下级绝对服从上级，士兵绝对服从军官；二是募勇的地域原则和私人情谊至上的原则。曾国藩规定，湘军的招募，统领由大帅挑选，营官由统领挑选，哨官由营官挑选，什长由哨官挑选，士兵由什长挑选。曾国藩认为，“口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠，平日既有恩谊相孚，临阵自能患难相顾”。曾国藩还认为，一营一军之中若募有两地的士兵，必然造成地区之间的不和。因而不如干脆只用一地之人，可以利用地域观念和同乡感情加强团结。所以湘军一般只在湖南募兵，又主要在长沙、宝庆二府招募，尤以湘乡最多。湘军不论在何地作战，凡添新勇，都要回湖南招募。湘军军官外省人间或有之，而士兵则外省人极少——只是到了后期，才偶尔募集少量外省士兵，以补充兵源的不足。为防止士兵逃跑，曾国藩还规定，凡应募者必须取具保结，并将其府县里居及父母、兄弟、妻、子姓名详细登记入册。这样士兵就不敢逃离营伍；即使有逃跑者，亦可按籍捉拿归案。对于湘军内部的关系，曾国藩规定：一军之权全付统领，大帅不为遥制；一营之权全付营官，统领不为遥制。“如封建之各君其国，庶节节维系，无涣散之虞”。为了保持湘军从大帅到营、哨官的垂直指挥系统，曾国藩规定，只看事寄轻重，不管官位尊卑。即使士兵已保至提、镇大员，而营官仅止从九品，士卒也要绝对服从于营官。营官之于统领亦然。
这样，士卒由私人关系转相招引，军官则凭个人好恶任免，官与官之间也靠同乡、同事、师生、朋友等私人感情相维系，遂形成湘军各树一帜、各护其长的风气，久而久之，逐渐变成一支军阀武装。
募集和训练官勇镇压农民起义，并不是曾国藩的发明。仅就曾国藩集团来说，除前面提到的江忠源外，胡林翼早在道光末年在贵州任知府时就已开始募勇镇压境内各族人民的反抗活动。但他们都没有触及军制的改革、其饷源也没有很好地解决，所以他们招募的官勇无论在数量上和质量上都不足以独当一面，也从未改变作为绿营兵辅助力量的地位。曾国藩前后用了几年的时间，对绿营、八旗、团练、官勇以及历代兵制都作过精心研究，对太平军也有所了解，他取长补短，根据当时的各种条件进行了军制改革，从而把官勇由辅助性的武装力量变成为独立的、自成体系的新式军队。这正是曾国藩比江忠源、胡林翼诸人高明的地方。他之所以成为湘、淮军集团的领袖并不是偶然的。
对于兵勇的训练，曾国藩一开始就比较重视。曾国藩初到长沙时曾训练过三营湘勇，其后在镇压湖南各地会党起义中甚感得力。而派往江西的一千湘勇则有两营从未进行过训练，因而伤亡惨重，不堪一战。正反两面的经验使曾国藩的认识又大大提高了一步，进而增强了练兵的信心和决心。他在给骆秉章的信中说：“不练之兵断不可用。侍今年在省练过三营，虽不足当大寇，然犹可以一战。六月援江之役，新集之卒未经一日训练，在江不得力，至今懊悔。”他在批札中也一再强调，乡勇不难于招募而难于训练，并详列训练的内容和要求，令部下遵行。曾国藩把训练的内容和要求分为两部分，一称为“训”，一称为“练”。“训”侧重于政治与思想方面，“练”侧重于军事与技艺方面。他说：“新募之勇全在立营时认真训练。训有二，训打仗之法，训做人之道。训打仗则专尚严明，须令临阵之际，兵勇畏主将之法令甚于畏贼之炮子；训做人之道则全要肫诚，如父母教子，有殷殷望其成立之意，庶人人易于感动。练有二，练队伍，练技艺。练技艺则欲一人足御数人，练队伍则欲数百人如一人。”作人之道又包含两方面的内容，一是纪律教育，一是封建伦理教育。湘军初立时查禁甚严，尤其严禁吸食鸦片。因为军队要求士卒体魄健壮，而鸦片不仅使士卒搞坏身体，而且容易学会偷盗、抢劫，破坏纪律。所以严禁吸食鸦片一条明文载于营规，各军皆然，而其他诸禁则各军略有不同。据说老湘营查禁最多，左宗棠禁止赌博，王錱则连饮酒都禁止，空闲时间只准练习武艺，优者给予奖励。
曾国藩对湘军进行纪律教育，主要是出于政治斗争的需要，目的在于使湘军不至像清朝的其他军队那样漫无纪律，肆意抢劫，以改变政治上的不利地位。当时太平军纪律严明，秋毫无犯，所到之外深受群众欢迎。而清军，尤其潮勇则奸淫掳掠，无所不为，受到社会上各阶层的反对和谴责，使清政府在舆论上处于很不利的地位。为了挽回人心，改变政治上的不利局面，把群众从太平军方面争取过来，曾国藩从一开始就很注意对湘军进行纪律教育，其主要方式是将官兵集合起来，由他亲自训话。他在给张亮基的信中说：“练勇之举亦非有他，只以官兵在乡不无骚扰，而去岁潮勇有奸淫掳掠之事，民间倡为谣言，反谓兵勇不如贼匪安静。国藩痛恨斯言，恐人心一去不可挽回，誓欲练成一旅，秋毫无犯，以挽民心而塞民口。”为达此目的，他“每逢三、八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓”；以至“每次与诸弁兵讲话，至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲苦口滴杜鹃之血。”盖欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。由此也可以看出曾国藩的政治眼光和对本阶级的忠诚是高于一般清朝官员的。同时，这样带着明确的目的对军队进行政治和纪律教育，也是历来所没有的，可以说是曾国藩的一项发明创造。
曾国藩的军事训练主要可归结为操、演、巡、点四个方面，操即上操，演即演习诸般武艺和阵法，巡即巡逻、放哨、站墙子，点即点名。曾国藩规定，湘军士兵每天在黎明和傍晚各上操一次，中午和熄灯前各点名一次，五更三点与掌灯后各派三成队伍站墙子一次。他还规定，每晚派一成队伍站墙子，一人唱更，如离敌很近则加倍。关于武艺、阵法的演习，对新勇规定尤细。新募之勇每十日中逢三、六、九日上午演武艺、阵法，逢一、四、七日上午演抬枪、鸟枪打靶与阵法，逢二、八日上午练习跑跳，逢五、十上午演连环枪法，而每天上午则演习拳、棒、刀、矛等。阵法主要练戚继光的鸳鸯阵、三才阵，要求士兵能整齐熟练，变化自如。技艺操练则要求士兵能纵身上一丈高之屋、越一丈宽之壕，抛火球于二十丈之外。新勇与旧勇仅演武内容有些不同，日常操点、巡哨则完全一样，除打仗外，天天如此，不得间断。与八旗、绿营各营比较，除训练抓得很紧外，每天两次点名、站墙子也是湘军的特点。点名是为了防止士卒随便离营，士卒离营则部队减员，降低战斗力。站墙子就是守卫营墙，实际上属于班哨、排哨之类，早晚派三成队伍站墙子则是为了防止敌人的突然袭击，因每日早晚是最容易受到敌人袭击的时刻，若有三分之一的人处于戒备状态，一旦受到袭击就可以暂时顶住，使其余的人有足够的时间做好准备，投入战斗，不至于一触即溃。这都是接受以往教训，提高军队战斗力的措施。
同时，曾国藩对湘军的行军扎营亦有具体规定，择地、布局详加指划，挑沟、筑墙皆有尺寸，每天一驻下来必须大修工事，在工事做好之前，既不准休息，也不准与敌人开仗。所以湘军行军异常缓慢，简直如蜗牛爬行，每日迟行早住，行程不过三十里，用于筑垒的时间竟与走路的时间一样长。
湘军的编制以营为基本单位，营以下为哨，哨以下陆师为队，水师为船，马队为棚。起初湘军仅有陆勇数千人，营以上不再设官，各营直辖于曾国藩。当时曾有人提议设总统管辖各营，曾国藩没有采纳。后来湘军人数渐众，遂于营官之上设置统领、分统等官统辖各营。统领之制始于咸丰四年二月湘军东征之初，曾国藩率水陆一万七千人自湖南出发往攻湖北的太平军，为便于统辖，遂设水、陆营务处各一人，水路为褚汝航，陆路为朱孙诒。他认为，历来军营皆有统带大员，“或称翼长，或称统领，或但称营务处”，名称不同，其实质并无区别。所以他有时称其为总统，有时称之为总提调，尚无固定名称。长沙整军和城陵矶大战之后，水师仅存杨载福、彭玉麟、李孟群三支，陆师只有塔齐布、罗泽南二部。咸丰四年底五年初李孟群离开水师，湘军水陆大将就只有塔、罗、杨、彭四人了，统领的名称大约是在此前后开始使用的。咸丰六年下半年后湘军人数迅速扩充，统领也日益多起来。至咸丰末年，湘军人数愈众，李续宜、多隆阿、鲍超、曾国荃皆领万人左右，为便于统辖，遂又于统领之下设置分统以管辖各营。分统之制始创于胡林翼。他首先在李续宜部设置分统，时间在咸丰十年。同治元年(1862)曾国藩把它推广于曾国荃、鲍超两军，始称分统。设立分统之初，李续宜部不足万人，分为四军，李续宜自统一军，另设蒋凝学、萧庆衍、成大吉三分统，各领二至三千人。鲍超的霆营约十五营九千人，分为三军，鲍超自领一军，另设娄云庆、宋国永两分统，每人约领五营三千人。曾国荃部约三十营一万五千人，分为六军，曾国荃自领一军，另设彭毓橘、萧孚泗、张诗日、刘连捷、易良虎五分统，每人约统五营二千五百人。后吉字营增至三万五千人，霆营增至约一万九千人，分统人数或所统兵员亦相应增加。
湘军陆师营制最初为每营三百六十人，大约是咸丰二年朱孙诒奉程矞采之命募集湘勇时与刘蓉、罗泽南、王錱等人一起制定的。曾国藩移驻衡州后，咸丰四年十二月又与罗泽南、刘蓉、郭蒿焘、曾国葆改定营制，每营加长夫一百二十人、抬枪十六人，成五百人之数。但这次所定营制未收入曾国藩全集，在别处也未发现原文。咸丰八年曾国藩再出后，又于咸丰十年参照左宗棠、王錱、胡林翼、李续宜诸家营制，同李榕一起详定营制，对各项章程规定得甚为详细完整。这个核定过的营制后来收入曾国藩全集中，谈湘军营制者皆以此为本。水师营制大约是咸丰三年十月改定陆师营制时制定的，亦未收入曾国藩全集，而被王定安转录入《湘军记》一书中。据罗尔纲先生考证，曾在咸丰五年至六年间做过个别修正。马队营制，据罗尔纲先生考证最初制定于咸丰九年，同治四年或五年，曾国藩曾在镇压捻军期间做过修改，改定后的马队章程亦被收入曾国藩全集中。
湘军饷章亦与绿营不同。曾国藩认为，绿营兵所以缺乏训练、战斗力甚低，一是差役太重，二是坐饷太低。绿营兵平时每月饷银马兵二两，战兵一两五钱，守兵一两。清朝初年尚可维持生活，及至道光、咸丰年间已不够五口之家食用，因而不得不出营做小贩谋生，再加上经常离营供差，就很少有时间在营训练了。曾国藩为了使士兵为他卖命，除每营增加长夫一百二十人以减轻士兵的劳役负担外，还提高了士兵平日粮饷供应标准。湘军饷章是咸丰三年十月改定营制时制定的。当时往来于湖南的各路兵勇很多，饷章各有不同，张国梁勇营每人每月饷银五两四钱，江忠源楚勇，每人每月饷银四两五钱。咸丰三年夏，内阁学士、帮办军务胜保曾奏请招募陆勇，每月饷银四两五钱，经户部议准，以后江南大营募勇即照此办理，定为奏销常例。曾国藩参考这几种饷章，尤其江忠源、张国梁勇营饷章，量为酌减，制定了湘军粮饷章程。规定陆师营官每月薪水银五十两，办公银一百五十两，夫价银六十两，共计二百六十两，凡帮办、书记、医生、工匠薪水及置办旗帜、号补名费用统统包括在内。其他各弁兵每月饷银为哨官九两，哨长六两，什长四两八钱，亲兵护勇四两五钱，伙勇三两三钱，长夫三两。水师兵饷营官与陆师营官同，头篙、舵工与哨长同，舱长与什长同，惟哨官薪水为陆师两倍，每月银十八两。总计湘军饷用，大约平均每人每月需银六两。曾国藩为防止各军统领多设官员、长夫，冒领军饷，特在饷章中规定，凡统带千人者月支饷银不得超过五千八百两，统带万人者不得超过五万八千两。
湘军饷章对弁兵薪饷的规定是相当优厚的，尤其是营官和统领，连曾国藩都不能不承认“章程本过于丰厚”。统计其各项收入，营官每月为二百六十两，分统、统领带兵三千以上者三百九十两，五千以上者五百二十两，万人以上者六百五十两。故王錱运说：“将五百人则岁入三千，统万人岁入六万金，尤廉将也。”湘军将领除多隆阿一人外，“人人足于财，十万以上赀殆百数”。于是，“将士愈饶乐，争求从军”。这固然调动了湖南农民，尤其绅士、文生的从军积极性，但同时也为日后筹饷带来困难。为解决这个矛盾，湘军采取发半饷的办法，一般只发五成饷，欠饷数月以至半年成为普遍现象，久而久之，形成风气，士兵亦习以为常。为防止士兵离营，甚至有意拖欠军饷，或扣下大部分饷银存入公所，等士卒遣散或假归时进行核算，酌发部分现银以充川资，其余部分由粮台发一印票，至湖南后路粮台付清。若士兵擅自离营，欠饷、存饷即被没收，不再发给。这样，士兵苦无川资，又恋于饷银，也就不会轻易离营了。同时，士兵一旦假归或遣散回家，就能领到一大笔银两，对未曾应募入伍的人也可以产生巨大的诱惑力。这样，曾国藩就达到了一箭三雕的目的：既减轻了筹饷的困难，又防止了士兵的逃跑，还能引诱大批农民和书生踊跃应募。
湘军分为水、陆两部。陆师的建立最早应从咸丰三年算起。这年夏天曾国藩同江忠源商定练勇万人的计划，初步确定了湘军的规模。曾国藩打算编练成军之后，概交江忠源指挥，以为镇压太平天国革命的军事资本。这年秋天，又奉创办水师之命，遂改原定集练陆师万人的计划为水、陆各五千人，营制亦改为每营五百人。然而这时湘军陆师的实际人数已大大超过五千人，因而不得不对现有各营进行缩编。曾国藩提出，邹寿章、周凤山、储玫躬、曾国葆和新化勇各为一营五百人不变，塔齐布、罗泽南各将两营七百人缩编为一营五百人，王錱六营约二千二百人缩编为三营一千五百人，其余遣散。王錱不服，认为这是曾国藩借故打击自己，并诉之于骆秉章。骆秉章认为王錱所募新勇可用，无须遣散。从此王錱率营脱离曾国藩，投靠骆秉章的门下。又因罗泽南年岁(四十六岁)较大，不愿再次远征，而湘南地区仍有天地会的活动，亦须留有一定兵力，遂将罗泽南部湘军留驻衡州。这样，随同曾国藩出征的陆师就仅有六营三千人了。恰在这时，平江知县林源恩投书曾国藩，愿充一营官。曾国藩令其募平江勇五百，编为一营；另外又令朱孙诒、邹世琦、杨名声各募一营，凑成十营五千人之数，使湘军陆师初具规模。
湘军水师的筹建晚于陆师，它是在曾国藩移驻衡州后开始的。
