五四运动使得北京政府的权威进一步削弱，民粹主义势头变得猛烈，平民和学生动辄以游行示威干政。本就岌岌可危的中央权威，五四后对于各地方的掌控，对于时局的把握，更显力不从心。就北京政府内部而言，执政理念和思想行为上，已出现明显不一致：大总统徐世昌倾向于沿用晚清旧制，重新恢复地方自治。在他看来，地方自治是实现法制的基础，是国家长治久安的前提，也是符合中国国情的。中国偌大的疆土，各省份发展极不平衡，很难用统一的政策来驱使，应该给地方以极大自主权。章太炎、梁启超、张继等一干人比徐世昌走得更远，在他们看来，世界大国有着普遍“联邦制”的特点，对于像中国这样的大国，如果不实行“联邦制”，不仅效率低下，而且很容易形成中央集权。既然南北政府都无力统一全国，与其连年征战，不如各省先行自治，把自己的事情办好了，等适当时机，再实行“联邦制”，如此便可以不通过武力最终实现全国统一。此外，各省领导人的形成也是一个问题，如果完全由中央任命，那么，很可能形成对地方的不负责任，必须由各省自行选出。对于徐世昌、梁启超、章太炎等人的看法，段祺瑞以及新国会坚决不赞同。段祺瑞还是主张加强中央集权，集所有大权于中央。在段祺瑞看来，联省自治很容易走向分裂之路，各省若置新成立的中华民国于不顾，中央既无权威又无经济来源必定会导致崩溃。
中央意见不一致，而各省就更不相同了。南方以湖南、四川、广东等地为先导，已公开探索“联省自治”的方式，他们发表主张说：如果各省能自己摆脱军阀混乱的局面，去寻求自身的稳定和发展，整个国家将会强盛起来。在这些省份看来，美利坚合众国、加拿大、澳大利亚、瑞士联邦以及1815年的日耳曼联邦，都是很好的例子。既然北京中央政府如此腐败无能，又何必固执于这个中央政府呢？湖南甚至在短时间内颁布实施了自己的宪法，依省宪湖南省公民直选产生了第一届省议会，并且选出了自己的省长。在上海，“中华民国八个团体国是会议国宪草拟委员会”草拟了“中华民国宪法草案甲种”和“中华民国宪法草案乙种”，这两种草案都体现了联邦制精神，成为联省宪法的雏形。客观地说，各省各派别对政治思路的不统一，加剧了中央权威的分崩离析。
1919年12月28日冯国璋的离世加速了局面的分化。冯国璋的临终遗言为：“和平统一，身未及见，死有遗憾。”看得出来，冯国璋至死仍不能释怀的，依然是国家的和平统一。不过让冯国璋没有想到的是，他的死加剧了北京政府各派别的分裂——如果说直系和皖系在此之前还碍于冯国璋和段祺瑞的旧情不好公开撕破脸皮的话，那么，冯国璋之死，直接导致了平衡的倾覆。冯国璋死后，一向喜欢铁腕专权的段祺瑞和徐树铮，对于大树既倒的直系，表现出压迫和吞并之心。直系继起的首领曹锟和吴佩孚，没有了冯国璋这一层约束之后，也希望以树敌来凝聚力量，变本加厉进行扩张。1919年底，直隶督军曹锟串联“长江三督”李纯、王占元、陈光远以及河南督军赵倜组成一个五省督军同盟，意在对抗段祺瑞的皖系。不久，奉天张作霖又率吉林督军鲍贵卿、黑龙江督军孙烈臣加入，发展成为八省督军的反皖同盟。张作霖之所以要加入，是因为皖系徐树铮已成为西北筹边使兼“边防军”总司令，授以节制内蒙、新疆、陕西、甘肃所有军队和官吏的全权，成为名副其实的“西北王”。这个“西北筹边使”比张作霖的“东三省巡阅使”势力范围更大，权力也更大；在西北和东北交际的内蒙等地区，两人屡起冲突，张作霖明显感受到来自徐树铮的威胁。
矛盾变得越来越复杂。段祺瑞没有想到的是，原本算是自己亲信的新任总理靳云鹏上台后，坚持在直、皖、奉三系之间采取不偏不倚的立场，对安福系也保持一定的距离；同时力主推进南方议和，实现和平统一。靳云鹏这一立场，引起了安福系和段祺瑞的强烈不满，在内阁人选以及相关政策制定上，靳云鹏的意见不断遭到新国会的否决。新国会的不断否决，又引起了靳云鹏的强烈反弹。此后，国会和内阁冲突不断，靳云鹏内阁的工作受到严重干扰。加上吴佩孚在南方的矛头直对皖系，靳云鹏夹在这当中，甚是尴尬，数次请辞。靳云鹏的处境，激起了很多政界人士对于段祺瑞和安福系暗中控制政局的不满。徐世昌想因势利导，联系各方力量谋求削弱段祺瑞的势力。在此背景下，由曹锟和吴佩孚挑头发起的直系与皖系的对抗，可以说既有徐世昌暗中怂恿或默许的成分，也有其他政治势力坐山观虎斗唯恐天下不乱的因素。政治的复杂性，在很多时候，真不如文字表述那样直截了当，它暗藏的因素太多，以至于表达上总显得苍白无力难以言说。
1920年3月，因五四期间电报战赢得崇高威望的吴佩孚宣布带兵北上。撤防之前，吴佩孚与南方军政府岑春煊达成协议，军政府提供吴佩孚部队毫洋三十万元，吴佩孚军让出湖南地盘让湘军接手。这个时候，原驻守湖南常德的冯玉祥旅已退出湖南，张怀芝部也由江西方面撤走，安武军李旅、毅军赵旅和奉军湘东支队都各自退归。因此，吴佩孚军队一北上，湖南遂为湘军所占，张敬尧也被迫率吴新田、张敬汤等残部退向湖北。
5月25日，吴佩孚率所部第三师及王承斌、阎相文、萧耀南三混成旅自衡州北上。一路上，北上部队高唱着吴佩孚撰写的《登蓬莱阁歌》：
北望满洲，渤海中风浪大作！想当年吉江辽沈人民安乐。长白山前设藩篱，黑龙江畔列城廓。到而今，倭寇任纵横，风云恶。
甲午役，土地削；甲辰役，主权堕。江山如故，夷族错落。何日奉命提锐旅，一战恢复旧山河；却归来，永作蓬山游，念弥陀。
5月31日，吴佩孚率领大队人马抵达汉口，成千上万的武汉民众在河岸上守候着这支传说中的部队。武汉学生争先恐后向吴佩孚献花敬礼，称誉吴佩孚为“革命将军”。各地报纸都将吴佩孚北上的行动刊登在显着位置，英美报纸更用溢美之词称赞吴佩孚是中国大英雄。在汉口，吴佩孚得到鄂督王占元资助的军费六十万元后，作为军饷分发三军，队伍士气更加振奋。踌躇满志之下，吴佩孚作诗《回防途次》，以明撤兵之志：
行行重行行，日归复日归；江南草木长，众鸟亦飞飞。
忆昔复戎机，长途雨雪霏，整旅来湘浦，万里振天威。
孰意辇毂下，奸巷乱京畿，虺蛇思吞象，投鞭欲断淝。
我今定期归，天下一戎衣……
从诗中看出，吴佩孚矛头直指徐树铮与段祺瑞，决心和志向一目了然。
6月5日，吴佩孚离开汉口继续北上。6月8日，吴佩孚自汉口到郑州。6月13日，吴佩孚自郑州通电，反对安福系包办上海和会，主张开国民大会解决时局。吴佩孚将部队布置在郑州、许昌、驻马店、新乡等地，做好随时攻击北京的准备。
7月1日，曹锟吴佩孚等直系将领发表“直军将士告边防军将士书”，提出了几项要求：一是徐树铮必须退职，这是典型“清君侧”，将徐树铮逼下台，等于去掉段的左膀右臂；二是段祺瑞亲自建立的边防军必须由陆军部统辖；三是安福俱乐部必须解散。
7月3日，曹锟、张作霖、李纯联名通电声讨徐树铮，宣布其六大罪。
7月4日，总统徐世昌借力打力作出决定：一是任徐树铮为威远将军；二是开去徐树铮西北筹边使，由李垣暂行代理；三是西北边防总司令一缺着即裁撤，其所辖军队由陆军部接办。
老资格的段祺瑞当然不甘在小字辈的吴佩孚面前示弱，7月5日，在北京召开的上百人参加的军事会议上，段祺瑞发表讲话，严厉声讨曹锟、吴佩孚目无中央挑战权威的行为：
国家以纲纪为重，纲纪不振，则国不存。吴佩孚先是受贿通敌，无故撤防，后又在保定兴风作浪。曹锟竟敢以兵力要挟总统，胁皖中央，提出种种破坏法律之主张，还要求下令解除徐树铮之职。徐此次收回外蒙，未用中央之款项而收回数万里之疆宇，居功之伟。曹、吴却要求首先罢免徐使，这是法纪荡然，是非不明。本人为维护国家纲纪及维持元首威信起见，不得不兴师讨逆。现拟呈请大总统将曹锟、吴佩孚、曹瑛（曹锟弟）褫夺官勋，交祺瑞拿办。现已入军事状态，如有不听命令者，当按军法办理！
战争不可避免地爆发了。这时候的军阀混战，已带有强烈的中国特色：战争极具有戏剧色彩，雷声大雨点小，看起来轰轰烈烈，实际上只是走过场。那些参战的官兵们，既不知为什么打仗，也不管战胜或者战败的后果。一切都是舞台，连战争也一样。主要因为：一是军阀们谁也不愿真打，杀敌三千自损八百，二虎相斗，谁也占不了绝对的便宜。况且螳螂捕蝉、黄雀在后，谁也不敢全心全意地打仗。二是那时的军阀都缺钱少粮，战争就是消耗财物，因此谁也不敢打仗。
7月9日，徐世昌发出总统令，免去第三师师长吴佩孚职，交陆军部惩办，曹锟褫职留任。7月10日，段祺瑞自任“定国军”总司令，徐树铮为副总司令兼参谋长，段芝贵为前敌总指挥，曲同丰（边防军第一师长）、魏宗瀚（第九师长）、陈文运（边防军第三师长）、刘询（第十五师长）等分任各路司令。7月11日，曹锟通电攻击段祺瑞及安福系。吴佩孚直斥段祺瑞为汉奸：“自古中国严中外之防，罪莫大于卖国，丑莫重于媚外”，“今日之战为救国而战，为中国民族而战；其战而死，为国民争人格，死亦有荣无憾”。
7月14日，双方正式开战。直军方面共有兵力约五万七千人，其中吴佩孚第三师一万一千人，第二、第三混成旅合计一万六千人。另外，属于直系的外省军队约有十二三万人。皖系方面，北京政府所辖的军队分属各省督军，中央政府此时实际能调动的军队，实际上只剩下段祺瑞刚刚组建的一战“参战军”近十万人。比较起皖系参战军的无实战经验，吴佩孚部队一向以吃苦耐劳敢打硬战着称。吴佩孚部率先发动攻击，突袭徐树铮的西北边防司令部所在地松林店。皖系前线总指挥段芝贵一击之下仓皇逃跑，军队失去了指挥，顿时无所适从。双方一交战，皖系的兵力还没有完全展开，就已呈溃败之势。吴佩孚乘胜追击，率三万直军向北京挥师直进。
值得一提的是奉军张作霖，在这一场战争中，张作霖充分扮演“坐山观虎斗”的角色。战争未启之时，张作霖一会表示支持曹锟，一会又向段祺瑞示意支持。直皖战争关键时刻，张作霖看出段祺瑞败象初现，派出两个旅，由天津直袭驻扎在涿县境内的皖系军队。同时发电通告段祺瑞，誓率关外劲旅，入关“清君侧”。皖系军队面对直系的正面进攻，又忌惮张作霖的“捕蝉在后”，一时溃不成军。1920年7月18日，靳云鹏告知段祺瑞：“战争已完全失败，边防军战斗力已失，若不从速设法，恐怕三天左右，京中粮食告急使全军不战自溃，到兵临城下时再求和，为时就晚了。”仗打到这个份上，连段祺瑞也觉得没什么意思，他当然知道吴佩孚矛头主要对准自己，既然这样，只好以“下台”谋求“和平”。段祺瑞接受靳云鹏建议，派傅良佐到天津向直军求和。傅良佐到了天津之后，立即被直隶省长曹锐扣押。7月19日，段祺瑞通电即饬前方一律停止进攻，解除定国军名义，并发表通电引咎辞职，电文说：
奉大总统电令，祺瑞已命前方将士一律停止进攻。此次编制定国军，防护京师，本为振纲饬纪，并非穷兵黩武。因德薄能鲜，措置不宜，致招外人之责言，上劳大总统分神。为此十分内疚惶恐，所有谬误，当自负其责。现已呈大总统，准将督办边防事务、管理将军府事宜各本职暨陆军上将本官即予罢免，并将历奉奖授之勋位、勋章一律撤销，定国军名义亦于即日解除，以谢国人，共谅寸衷。
7月27日，徐世昌下令免段祺瑞职，撤销对曹锟、吴佩孚的处分；同时责成各派将领停止攻击，原地听候命令。
轰轰烈烈的“直皖战争”只持续七天就结束了。溃败如此之快，跟三年前被击溃的张勋的辫子军结果相同。只不过，这一次的失败者变成了段祺瑞。平心而论，段祺瑞此次下野，在很大程度上，是对兵戎相见的灰心，对自己苦心孤诣不被认同的失望。以段祺瑞及皖系的实力，即使是溃败，也不可能到达无力支撑的地步。直系胜利来得如此轻而易举，也是高调宣战的吴佩孚所没有想到的。胜利在很大程度上，取决于五四运动的影响，是吴佩孚高举民族主义大旗的结果，更是当时社会人心所向。对于段祺瑞的失败，最沮丧的就是日本内阁了。这不仅仅因为参战军是由日本组织武装的，而且段祺瑞政府最起码在表面上是亲近日本的。日本根本没料到皖系参战军失败如此仓促，仓促得连反应和决策的时间都没有。此时的日本，虽然有心帮助皖系，毕竟不能过于明目张胆。这种情况下，日本不得不重新调整政策，在中国寻找新的势力加以支持和利用。
这一场战争对于中国时局的影响是很大的——虽然命名为“直皖战争”，不过战争的实质其实是吴佩孚以武力挑战“中央”权威。虽然持续时间较短，战争破坏性并不算大，不过它对于历史走势的影响，却异常长远。毕竟，这是一种非正常方式的挑战，它对于规则的破坏，以及由此生发的连锁反应，是始料未及的。直系武力直接干政，使得共和政治出现了非常不好的苗头——如果说在此之前，军阀对于政治的干涉只是权谋操纵的话，那么，直皖战争之后，武力走向前台，变成明目张胆的干涉。本来犹抱琵琶半遮面的共和政治，变得进一步虚假和堕落。中央政权更加孱弱，手握重兵的地方军人，也变得更加跋扈，更有恃无恐了。
战争中一个值得注意之处是皖系第一路军（第十五师）刘询的部队不战而退，让吴佩孚能包围皖系曲同丰率领的第二路军。第二个值得注意之处是直系军队在直隶、河南、陕西、甘肃、安徽等地接受了皖军的投降，加以改编，势力和地盘得到进一步扩充。奉系军队也在直隶、热河、察哈尔收编了一部分皖军，剩下的有地盘的皖系军队只有浙江的卢永祥、中立的上海护军使何丰林和福建的李厚基。第三个值得注意之处是失去了地盘的皖系败军，例如湖南张敬尧的第七师和游移于鄂西豫西的吴光新的军队，有的被当地军阀收编，有的流为土匪。
