他在接任两江总督后，对着地图仔细考查了安徽的地形，看上了一个地方——祁门。在思索了很久以后，决定把总督衙门设在祁门。
祁门是安徽的一个县城，处在丛山包围之中，一条官道从县城穿过，东连休宁、徽州，南连江西景德镇。此外，祁门是三省交会的地方，贯通三省全局，还有大山护佑营盘。
当曾国藩提出将要把祁门作为总督衙门时，众将觉得不可思议，李鸿章更是当场表示反对，他认为祁门被群山环绕，进退都不方便。
曾国藩觉得这件事又不会死人，何必这么夸张，如果听从了李鸿章的建议，自己两江总督至高无上的威严必将受到损害，再说，皇上也知道了驻扎祁门的事情，如果改变决定，便有欺君的嫌疑。
最后，曾国藩坚持己见，在咸丰十年五月（1860年5月），从宿松出兵走水路沿江东下，然后改走陆路行军到达祁门。
然而，当曾国藩来到祁门后便后悔了，因为祁门除了那条通往景德镇和徽州的大道外，只剩下通向边上两个小镇的一条羊肠小道，而城前的小河河水很浅，根本无法运输军需物品。所以，一旦太平军把大道封死后，曾国藩就成了瓮中之鳖，只有等死的份儿了。
既然事已至此，后悔也没用了，走回头路，这不是曾国藩的作风。
于是，曾国藩开始为祁门的安危做精细的部署。明眼人都看得出来，要保证祁门安全，关键是保卫好祁门东面的徽州，如果徽州不出事的话，祁门也就安全了。如此重任，该交给谁呢？眼下正是用兵的关键时刻，曾国藩左思右想，还真找不出什么合适的人选来。
此刻，有一个人主动请缨去固守徽州，他就是平江勇统领李元度。
从咸丰四年（公元1854年）起，李元度便跟随曾国藩南征北战，立下了汗马功劳。尤其是咸丰五年、六年（公元1855~1856年）间，曾国藩在江西处于困境时，李元度的平江勇简直成了他的救命稻草。
虽然李元度对曾国藩忠贞不渝，但他的军事能力很差，相对来说，部队的战斗力比较低下。只怕他担当不起如此重任，可眼下实在再调不出其他人了。
无奈，曾国藩只好命令李元度带着六千平江勇赶赴徽州。可见，他把很大一部分希望都寄托到了李元度身上。
然而，就在曾国藩进驻祁门不久，太平军就组织了第二次西征，其目的主要是为了解围安庆。
咸丰十年八月（公元1860年9日），太平天国西征军南路杨辅清、李世贤、黄文金、刘官芳、古隆贤等大将率部进入皖南后，不久便攻克了丛山关。
徽州与丛山关距离非常近，太平军已经近在咫尺，徽州城一旦守不住，那么祁门的安危就可想而知了。因此，曾国藩好几天晚上都没睡好觉。第二天，曾国藩就立刻给李元度写信，再三告诫李元度如果遇到太平军攻城，只可以困守，不可以出城迎战。
当时，徽州城内的守卫人马有将近两万人，按理说人员不少了，但其中有一万四千名都是绿营出身，这些人的战斗力自然不值得一提。
八月二十五日，十多万太平军把徽州城围得严严实实，并趁夜色对徽州城发起猛攻。虽然平江勇奋力抵抗，但在密密麻麻的太平军面前，也是杯水车薪。
一时间，徽州城一片混乱，李元度知道已经无力回天了，于是，他仰仗自己有六千平江勇，开城与太平军决战。结果平江勇在强大的太平军面前不堪一击，他见形势危急，便自顾逃命去了。最后，全军溃败，徽州失守。
让人心寒的背叛
八月二十六日晚上，当曾国藩得知徽州失守的消息后，震惊无语。他没有指望李元度能击败太平军，但起码也能坚守一段日子，没有料到的是竟然败得这么快。
徽州被攻陷后，兵分三路的十几万太平军长驱直入，逼近祁门大营，祁门一下子就变成了前线。此时守卫祁门的兵力不足三千，另有一万多官兵都是打了败仗而退下来的。因此，整个祁门一片混乱，情形十分危急。
曾国藩虽然恨李元度不争气，但事到如今对他也无可奈何了。
在这种紧急关头，败军之将李元度本应该回到祁门请罪，可他却逃到浙、赣边境徘徊游荡，久久不归。在一个月以后，才逃回了祁门军营来见曾国藩。
一见李元度的狼狈样，曾国藩便气不打一处来，当即就把他臭骂了一顿。
可是李元度也不自责自悔，竟然擅自取走饷银，私自溜回了湖南。曾国藩对李元度的举动十分气愤，但对他的处置却犹豫不决。
李元度是湘军的元老人物，无论多么艰难的岁月，他对曾国藩都始终忠心耿耿，这正是曾国藩为什么明知他领兵才能很差，却始终信任他的原因。
虽然丢了徽州，但对这位生死与共多年的朋友，还是不忍心制裁。然而，李元度竟然不知悔改，还悄悄溜走，曾国藩再不能容忍了，便决定弹劾他，以正军纪。
关于曾国藩弹劾李元度一事，幕僚们一致反对。本来，胜败是兵家常事，更不可以以此论英雄。但曾国藩力排众议，最终还是弹劾了李元度。
因为这件事，李鸿章和曾国藩也几乎闹翻了，一气之下，溜之大吉，离开了曾国藩。
弹劾李元度的一个最重要的原因，或许我们可以理解为恨铁不成钢吧！曾国藩希望李元度能好好反省一下自己的错误，只要他认个错、低个头，照样能重新启用他。湘军的大门永远都是敞开的，曾国藩甚至天天都要到军营大门前瞭望一番，希望能看到那个熟悉的身影。
可接下来发生的事，完成超出了曾国藩的估计。
李元度并没有反省，而是另攀高枝，重新找了个大靠山。他在家乡，重新招募了一支八千人的队伍，号称安越军，投靠了浙江巡抚王有龄。
其实，早在李元度未离开湘军大营前，曾、王二人已经闹得不可开交了。
据说，咸丰十年八月（1860年8月）初，太平军展开第二次西征，太平军转战安徽，那么战火很快就会烧到浙江，惊慌失措的浙江巡抚王有龄向曾国藩求救。救援可以，至少也得来点跑腿费吧，再说浙江是富饶之地，也不差这几个钱。
但抠门的王有龄却一毛不拔，曾国藩便拒绝了救援，二人就此便产生了矛盾。
于是，王有龄想着法的和曾国藩过不去，这种挖墙脚的机会当然不会错过，便接受了李元度的投靠。
在人的一生之中，难免会遭遇种种背叛。有些背叛，让人觉得可耻；有些背叛，让人觉得可笑；有些背叛，让人觉得可怜；有些背叛，却让人觉得心寒。李元度的背叛，让曾国藩受到了沉重的打击，也愤怒到了极点。但他永远也不会忘记李元度的三次鼎力相助：在靖港之败，九江之败和樟树镇之败后，李元度都冒死维护和保护曾国藩。
曾国藩也多次表示：自己的朋友很多，而只有李元度与彭玉麟二人最为知己，交情最为深厚。
但这个交情最厚的朋友竟然背他而去，他如何不痛心疾首呢！
不过，一码归一码，虽然，李元度有恩于曾国藩，但他不能容忍朋友的背叛。后来，他多次弹劾李元度，再加上其他人的参劾，终于使李元度革职、充军，受到了严惩。
有些学者认为，曾国藩之所以如此绝情地对待李元度，其实是为了警示湘军将领不要有二心，否则，就会步李元度的后尘。
虽然如此，晚年的李元度与曾国藩的关系还是十分融洽的。在曾国藩死后，李元度在祭文中写道：“生我者父，知我者公。公之于我，地拓海容。”
李元度晚年虽然出任贵州按察使，升布政使，但只是做到了和以前一样的官职，已经远远落在了晚于他加入湘军的李鸿章后面。对此我们只能惋惜而已，如果他能始终忠心耿耿，相信湘军中会有一个高高在上的位置等着他去坐。
这当然都是后话了，眼前的局面就够曾国藩喝一壶的了。
