曾国藩认为罗泽南的提议是十分正确的，去年湘军攻下武汉，咸丰帝勒令他离武汉而攻下游九江等城，他给咸丰的奏折中也是这个意见。可惜咸丰帝不听他的主意，造成武汉丢失，进攻九江无功的被动局面。然而，实际上，他的湘军只有塔、罗两军，两军合起来尚攻不下九江，若罗泽南再离他而去了武汉，湘军的力量就更孤单了，所以曾国藩没有放罗泽南去武汉。但是，曾国藩反复考虑，罗泽南的战略计划的确重要，罗泽南又反复申请、说明，终于使曾国藩同意他率兵去武汉的请求。正在这时，塔齐布因久攻九江不下，劳累、忧愤于七月十八日(8月30日)呕血而死。曾国藩太伤心了！这是一个知恩图报，忠心追随他的一个一心一意为湘军建设建功立业的大将，他是湘军大将中唯一的满员，正可以作为满汉联合，以消除朝野猜忌的典型代表。如今，竟牺牲在战场上，等于湘军损折了一个通梁大柱，等于曾国藩折断了一条大腿。曾国藩怎能不伤心胆裂！他几天寝食俱废，在塔齐布的灵前饮泣不止。他为塔齐布写一挽联：“大勇却慈祥，论古略同曹武惠；至诚相许与，有章曾荐郭汾阳。”本来曾国藩建设湘军，自比郭子仪，匡复清朝，现在他把塔齐布比作郭子仪了。他向咸丰奏明塔齐布的功勋，咸丰亲旨悼念，照将军例赐恤，予谥忠武。
塔齐布死后，曾国藩把他的军队拨出1500人交罗泽南率领去了武汉。其余部队遵照塔齐布的遗嘱，交由周凤山指挥。此后，周凤山的部队成了湘军主力，仍继续围攻九江城。
罗泽南则于咸丰五年九月(1855年10月)从江西南昌府义宁州出发，连下通城、崇阳、蒲圻、咸宁，11月初攻抵武昌城下。罗泽南的援救武昌，使清政府在武昌的攻战形势发生了变化。太平军再次攻克武昌后，胡林翼被任命为湖北巡抚，这个职位曾授予曾国藩而又被咸丰收回，这次又授给胡林翼，胡也是汉人，说明咸丰帝在危急之时不得不放权了。
胡林翼见湘军主力罗泽南到来，自然如得救星。他主动与罗配合，从不以属下相待，军政事务皆与罗诚心相商。即使对罗的部将李续宾、李续宜兄弟也同样相敬如宾。罗军到达后，胡林翼把湖北绿营淘汰，以罗军为骨架，大量向湖南募军，按曾国藩湘军的军事制度进行编练，成为长江上游的一支极为强大的部队。
经过此番调整，湘军的实力更加雄厚了。水师力量的加强是明显的，陆师力量留在江西由曾国藩直接指挥的部队比原来减弱了一些，但罗泽南部开赴湖北，胡林翼以这支湘军为主体不断扩充，使这支部队的力量不亚于曾国藩亲自指挥的陆师。胡林翼原为曾国藩的部下，他的军队主力是曾国藩的部队，他与曾国藩关系密切，在“中兴名将”中地位与曾国藩相埒，被人称之为“曾胡”。他们的部队一在长江上游，一在长江中游，相互照应，互为犄角，成为太平军的两个死对头。在以后鄂、皖、赣、湘数省的作战中，曾、胡两军相应契合，是太平军的主要敌人和失败的主要原因。
自罗泽南率军赴鄂、塔齐布战死之后，曾国藩久攻九江不下，是他成军作战以后最困难的日子。王恺运的《湘军志》记载这一段情景时说：“其在江西时实悲苦，令人泣下。”曾国藩给咸丰帝上奏中有语：“闻春风之怒号，则寸心欲碎，见贼船之上驶，则绕屋彷徨”，“余昔久困彭蠡之内，盖几几不能自克”。但是，由于他的坚忍奋斗，居然扭转了困局。
他困难的一个方面是太平军在江西发动了猛烈攻势。
石达开留韦俊在武昌据守，与胡林翼、罗泽南周旋；林启荣在九江城扯住了周凤山的兵力；他自己则率兵联络江西的天地会，开展了凌厉的攻势。石达开于咸丰五年十一月(1855年12月)由湖北进攻江西，连克瑞州、临江、袁州，围攻吉安。曾国藩见状只得放弃围攻九江，急调周凤山回援江西。周部撤围九江，于咸丰五年十二月(1856年1月)攻占樟树镇、新淦。但是，到底是救吉安，还是守武昌，曾国藩举棋不定，石达开见来援湘军驻兵樟树镇而尚在犹豫，乃下令全力进攻吉安，于咸丰六年正月二十五日(1856年3月1日)将吉安攻陷。曾国藩此时驻于赣北南康府，闻吉安被攻破，令周凤山坚守樟树镇，认为此处西近瑞(州)、临(江)，东接抚(州)、建(昌)，为赣江沿岸重镇，省城南昌的咽喉。石达开兵破吉安，必然北犯省城，占领樟树镇，则可以逸待劳，堵击太平军。曾国藩为守樟树镇，还急令内湖水师彭玉麟率船队师出青岚湖，由武阳水过三江口，驶入赣江，南下樟树镇，与陆师配合，防守樟树镇。
不久，石达开果然率兵由吉安北上进攻樟树镇。周凤山指挥湘军据城大战，不敌而弃城逃走，二月十八日(3月24日)樟树镇为太平军占领。曾国藩闻讯，由南康动身去南昌城收拾溃兵。
石达开指挥太平军在江西奋勇作战，控制了整个江西的绝大部分地区，江西共计13府，被攻占8府54州县。曾国藩困守在南昌、南康两个狭小的地区，被太平军紧紧封锁，不仅文报不通，连家信都难以通达。秘密化装潜递者也多被抓拿，一时被捕杀者达100多人，湘军被太平军围困得“士饥将困，窘若拘囚”。
正在曾国藩岌岌可危之时，杨秀清忽调石达开去天京参加进攻江南大营的战斗，才使曾因藩在军事上稍稍松了一口气。便挣扎着恢复江西的军事实力，他把樟树镇等战役溃败的军队重新编排，凑成两支军队：一支约3500余人，由黄虎臣率领；一支仅千余人的队伍，由毕金科率领；又让江西粮道之子邓辅纶新募2000人马，与李元度合为一军。总计军队约有万余人，但战斗力却较差，尤其缺乏将才。便想把增援武汉的罗泽南调回，趁石达开离开江西的时机，夺回失地，挽回江西的危局。罗泽南接到曾国藩的告急信感到很为难，当时他正担任争夺武汉的军事主力，若撤离武汉，将前功尽弃。他决定加紧攻城，攻下武汉后立即回援江西。
结果，因求功心切，猛打猛冲，被太平军枪击头部，于三月初八日(4月12日)死在军营。死前，给曾国藩留遗信一纸，哀凄悲凉，追述办湘军南北转战之苦。进言让曾国藩重任彭玉麟、杨载福、王錱等人，尤其要起用左宗棠。并进一步介绍胡林翼的大度，一定要同他合为一军，方能定两湖大局。遗嘱自己死后，其部湘军由李继宾统带，等等。
曾国藩的求援信落到胡林翼手中，恰在此时，曾国华也带着曾麟书的请求让胡援助曾国藩。于是，胡林翼便分兵5000让曾国华统带，急驰江西。此时，骆秉章也派出刘长佑、萧启江5000人马由萍乡、万载入江西，增援曾国藩。曾国荃、王錱又各率数千人马驰援。这样一来，江西的湘军和绿营军一下子增到数万人。这些军队在江西四处进攻，先后占领瑞州、袁州、临江、安福等地，湘军在江西的形势好转了。
曾国藩在江西的困馁不止是军事，更大的苦处是清廷一直对他不放心，怕他的力量太大，尾大不掉。湖北巡抚之职宁给胡林翼，也不肯给他曾国藩，使他率兵三四载一直处于孤悬客处之地位，用兵、用人、用饷无处不难。因此，他常自比于东汉时的杨震，落得个可悲下场。
正因为清政府不肯向他放权，使他在江西最大的痛苦，是处处受到地方官的排挤和刁难。咸丰五年八月(1855年9月)，曾国藩丁忧服阕，补授了兵部右侍郎，仍没有钦差之衔，地方官仍是轻视他，他在江西用兵，军饷要江西地方出，地方官总认为他并非国家正规军，为湘军输饷认为是额外负担，不肯出饷。曾国藩军队缺饷，只能自己筹措，也受到地方官的抵制。他无能为力，只好向朋友求助，幸赖刘于淳、甘晋等人主持捐资，支持部分款项，惨淡度日。在籍刑部侍郎黄赞汤。曾捐助曾国藩80余万两，使曾国藩感激万端，终生念念不忘。
尤其令曾国藩气愤的是，江西巡抚陈启迈是他的同乡，又与曾国藩同做翰林官。湘军在江西作战，为陈守土，他应该同舟共济。但是，他却处处作对，不仅不合作，不输饷，连用地方一人也不许。例如：当时江西万载举人彭寿颐，在地方自办团练，对抗太平军。曾国藩欲调此人入湘军，陈启迈不仅没接受曾国藩的请求，还借口彭寿颐曾不受地方官约束，至衙门闹事，把他捕拿，投入监狱。
曾国藩甚为恼怒，将陈启迈的行事为人写成奏折，狠狠地向咸丰告了一状。咸丰对江西巡抚本来就不满意，因为江西一省疆土，被太平军几乎占光。如今曾国藩告他，便准其所奏，罢了陈启迈的官。
陈启迈虽去官，继任的文俊对曾国藩的排挤更甚。不仅不给供饷，还使他的一支湘军全军覆没，害死了他的一员猛将毕金科。
樟树镇败后，湘军一支由塔齐布的旧部毕金科率带。毕骁勇异常，率部与太平军作战，凶悍无比。但毕军饷奇缺，军队常饿着肚子打仗。咸丰五年(1855年)底，地方官得到江西巡抚文俊的授意，竟以军饷作诱饵，逼迫毕金科进攻景德镇。景德镇是赣、皖、浙三省交通枢纽，太平军有重兵把守，堡垒坚固。毕金科只有千余湘军，又饥又疲，但是为了得到饷糈，不得不冒险进攻。结果，反复苦斗，直至全军覆没，毕金科也丧命于景德镇城下。曾国藩对此事耿耿于怀，直到4年以后，曾国藩率部攻陷景德镇，在毕金科战死之处立碑纪念，亲为撰写碑文，痛悼当年牺牲的这员大将，同时揭露江西官员的排挤、嫉恨，碑文十分凄婉、动人。其中有：“内畏媚嫉，外逼强寇，进退靡依，忍尤丛诟”之句，说出了曾国藩在江西几年的困难处境。值此困难处境，曾国藩曾想要撒手不干了，他想：这到底是为什么？自己以一个回籍的文官，冲破重重阻碍创办湘军，在两湖、江西苦苦地战斗着，打赢了仗是别人的功劳，打败了仗“几乎通国不能相容。”自己为国苦战，要权无权，要粮无粮，处处受到排挤、打击，被逼自杀就好几次了。思前想后“遂致浩然不欲复问世事”。由于好友刘蓉等人的百般劝说，他才勉强坚持着。
