第一次直奉战争结束后，直系以武力自恃，把持北京政府，目空一切。曹锟贿选总统，国人共愤；吴佩孚高唱“武力统一”，受到各军阀势力之抵制。在第一次直奉战争中受到直系严重打击之奉张，遂利用此有利形势，响应孙中山之讨曹宣言，与孙中山先生及皖段结为“反直三角同盟”，共同对付曹、吴。
1924年9月3日，皖系浙督卢永祥与直系苏督齐燮元为争夺上海地盘，爆发了“江浙战争”，揭开了第二次直奉战争的序幕。迷恋于武力统一的吴佩孚，企图以孙传芳从福建进攻广东，并以陈炯明作内应，推倒孙中山革命政府；以齐燮元夺取浙江，消灭卢永祥；自己则秣马厉兵直接对付张作霖。这时，齐燮元、卢永祥之间的矛盾已十分尖锐。卢不但据有浙江，而且控制着上海（卢的部属何丰林继卢之后任淞沪护军使）。齐身为江苏督军兼苏皖赣巡阅使，久想夺取上海，但始终未能如愿。借此机会，苏军首先发难，向浙军发起进攻。战争爆发后，北京政府下令讨卢，孙中山下令讨伐曹、吴，张作霖、段祺瑞通电援卢。随即张于战争爆发后的第二天，以援卢为由，派兵入关，向直系宣战。9月中旬，孙传芳军越过仙霞岭进入浙江，卢永祥不得不放弃浙江转赴上海。趁此直军新胜，17日，吴佩孚由洛阳赶赴北京，组织“讨逆军”，自任总司令。第二次直奉战争由此爆发。
第二次直奉战争双方共投入兵力50余万，以山海关等地为主战场，展开激战，堪称北洋军阀混战史上规模最大、战斗最激烈者。奉军将领张学良、郭松龄等部奋力作战，吴佩孚也亲自赶赴滦州督战。正当前线酣战，交战双方相持不下之时，10月23日，受孙中山先生《建国大纲》影响的直军将领冯玉祥乘北京空虚，倒戈回师，发动了北京政变，囚禁了曹锟。次日，冯玉祥迫令曹锟下令停战、免去吴佩孚本兼各职。吴佩孚腹背受敌，陷入困境。10月底11月初，奉军大败直军，占领山海关、秦皇岛、唐山等地。冯军（冯玉祥于政变后，组织*国民军，自任总司令兼第一军军长，胡景翼、孙岳分任第二、三军军长）亦在杨村、北仓一带打败吴军。11月2日，曹锟辞职；3日，吴佩孚率领残部两千余人南下。第二次直奉战争以吴军主力基本被歼而告结束。
第二次直奉战争爆发之初，阎锡山表面上仍取观望态度，“于纷乱之中，持保境安民，促缩短战期。不发权利之言，不发夸大之言，不发强硬之言，不发一偏之言。并提倡公平内政，均善外交；改造须本国情，不可偏趋时潮。”但实际上已经倾向于附段联孙倒直。据南桂馨回忆：
“在三角联盟与新直系对峙及布置之际，孙中山使张继以私人名义，函达阎锡山、赵戴文及南桂馨，大意以同盟会的旧关系，要求晋方协助，使孙中山北伐得到成功。而段方亦派温寿泉回晋联阎倒曹。阎锡山感到京保两派的骄横诡谲，自己受到压迫，实所不甘，已决定附段，于是对张继所请，乐得顺水推舟，慨允如命。但阎不出名回复张，而以赵、南两人名义各复一信。赵函大意：孙先生此次参加北伐，同志无不欢欣，自当尽力相助。南函大意：协助孙先生北伐，乃是北方同志的素愿。山西数年来保境安民，励精图治，模范省之名，中外皆知。而在广东同志，优容反晋分子，疏远起义的旧同志，未免使晋方同志有所寒心等语。两函均阎亲拟，令其秘书缮发，交由张继来使带回。”
尽管如此，战初阎锡山仍不动声色，以表面文章，对双方均虚与应付，并不贸然采取反直行动。
9月21日，直系的苏督齐燮元来电商借子弹百万粒，被阎锡山托词婉拒。
直至10月23日，冯玉祥发动反直的北京政变时，因大局尚不明朗，阎仍仅以“礼让为国”、“化干戈为玉帛”等词为周旋，不作明确表态。
北京政变后，阎锡山本着“认清对面，才能与对面处，了解了周围，才能在中间站”的一贯行事准则，一面暂取中立的姿态，不得罪任何一方，一面暗派台寿铭、田应璜、梁航标，分别到皖、奉、直各方探听情况。台寿铭到京、津后，利用自己与段祺瑞、冯玉祥均是安徽同乡的关系，很快与段、冯取得联系，并了解到段将出山主持国政和冯发动“北京政变”的背景。阎锡山估计到直系军阀要失败，又认为段祺瑞出山对自己大为有利，才在10月下旬决计公开联冯、拥段，出兵石家庄参加倒直军事。
据南桂馨回忆，关于出兵石家庄，阎锡山与段祺瑞有约在先。南说，温寿泉受段之托回晋联系倒曹时，“段对阎的具体要求是出兵石家庄，截堵吴佩孚所部，不使通过石家庄。阎虑兵力单薄，犹豫未定。迄直奉开战前夕，吴佩孚在四照堂点兵后，发表各路出兵番号，阎知洛阳留守部队不多，后继无力，乃允段的要求，始由温寿泉回京复段照办”。
于是当10月26日冯玉祥电请阎“速派劲旅驻扎石庄，以资堵击南来之反对军，则和议可告速成，同力合作，国事攸赖”时，阎便欣然以“敝处军队已自有日起陆续开赴石家庄，惜正太路轨窄车小，全部急切，尚未能悉数到达耳”复之。并于11月1日正式向石家庄出兵（《阎锡山评传》载出兵时间为10月28日），截断京汉铁路交通，阻止直系援军北上。
出兵石家庄，是晋军自1917年入湘作战失利之后，首次出省作战。它标志着阎锡山几年来一直为之标榜的“保境安民”，晋军不出省一步“宗旨”的终结。
出兵石家庄，是阎锡山经过反复权衡才做出的决定，故而尤其予以重视。最先，以第3混成旅旅长孔繁蔚为总指挥，“所率部队有：第三旅黄金桂部，第四旅谢濂部，第五旅刘树藩部，第七旅龚凤山部共六、七千人（为虚声势，称团为旅）。孔繁蔚到石家庄没有多久，阎锡山怕他威信不足，又改派晋南镇守使张培梅以山西左翼军总司令前往指挥。”
关于出兵石家庄的作战原则，阎锡山在给总指挥张培梅的电文中作了如下规定，“不准我军先开仗，是此次本军之宗旨，已与各方宣布。且本督军现正与各方周旋和议，我军若攻人，则我计穷矣。”以此为宗旨，阎锡山暗示张培梅，“只可吸取增灶故智，虚张声势使敌望而生畏，不敢北越雷池，即足以应付段方；损兵折将，虽胜不取。”
晋军到达石家庄后，分别布防于定县以南，京汉路沿线附近地区。首先于10月29日在石家庄以南袭击了北上增援的湖北直系军队，并解除了这部直军的武装。紧接着又于11月1日解除了从河南北上增援的一部分直系军队的武装。
开入石家庄前线后，一些部属对总指挥军令有所不从，号令难以统一。总指挥张培梅历来治军严厉，为整肃军纪，决定杀人立威，遂以指挥不力和谎报军情为由，动用军法，将龚凤山、刘树藩两旅长枭首示众。龚、刘皆系晋军中之不学无术之辈，平时多得阎之娇宠。部队到达石家庄时，正值隆冬。张培梅及其卫队均露营野宿，并命龚、刘两部官兵，也下车露营，同时在铁路附近布置阵地，挖掘壕沟，以备应战。龚、刘却对张之命令置之不理，不仅将团部（对外称旅）设于车上，默许士兵暗宿车中，并以天寒地冻，皮衣不全为由，拒绝构筑工事。张培梅素以严厉著称，遇此敢于违令之将，遂采“先斩后奏”之法，先下令将龚、刘斩首，以示惩戒，然后方电阎报告。龚、刘被杀后，一时谣言四起。起初阎锡山对张培梅不经请示，擅杀团长，深表不满，疑张有独立之心，曾动意出兵镇压。后经派亲信南桂馨前往探听虚实，知张并无异动，方才作罢。此为出兵石家庄的一段小小的插曲。
张培梅杀了龚、刘之后，“令工兵营长杨澄源与阎锡山派往协助计划作战的参谋人员，率工兵在京汉铁路破坏桥梁、水塔，使铁路运输完全失效。张又亲自巡示营垒，并筑‘鹤峰堡’（张字鹤峰）以备自守，表示坚守石家庄的决心，同时宣布‘不准任何客军过境’。当时在冀南的国民三军，北上接应冯玉祥，亦因铁路不通，只好徒步行军。”
晋军驻守石家庄，切断了南北交通线，直军不知虚实，不能北上。牵制直军北上增援之战略目的业已达到。大约在是年12月底，国民军第2军胡景翼部由石家庄过境。其时，石家庄地区部队复杂，市面秩序混乱，难以维持。阎锡山遂准张培梅所请，将晋军悉数撤回娘子关内，部队归还建制。
晋军出兵石家庄，由于阎锡山准确地把握了时机，出兵之时，直军已面临瓦解，故并未发生大的战事，实际上只是作了一个姿态。然而，从另外的意义上讲，它却成为阎锡山的势力向娘子关外发展的一次预演。
在北京政变及其以后一段时间内，阎锡山的政治态度基本上是拥段联冯的，而以拥段的电文至多。
11月4日，阎与张锡元、马福祥等联名发出致段支电，称“民国成立，十有三年，祸结兵联，几无宁岁，推原始乱，固由国家纪纲之不振，实则中央主持之失宜。”“钧座硕德重望，中外共钦。诸将久殷翊戴之诚，国民更切来苏之望。务切俯念大局，慨允出山，即日命驾莅京，主持一切，国民图存，惟公是赖。”请段到京主持政务。
11月8日，致电据守河南彰德之直系李济臣，以“各省拥戴合肥者，截至今日，已有浙、赣、皖、鲁、湘、陕、甘、新、奉、吉、黑、察、热、绥等十余省区，或专电劝驾，或派员晋谒，……人心所归，政局瞬定”，劝李转向拥段，让出彰德。
11月15日，张作霖、卢永祥、冯玉祥、胡景翼、孙岳联名发出“咸电”，云“国是未定，中枢无主。合肥段公，耆勋硕望，国人推戴业经一致从同。合肥尚谦让未遑，然当此改革绝续之交，非暂定一总摄军政责任名称，不足以支变局。拟即公推合肥为‘临时执政’，即日出山，以济艰危，而资统率。”提出拥护段祺瑞出任“临时执政”的主张。
11月17日，阎锡山即复电冯玉祥，表示“请芝老为临时执政，示国人以根本解决，鄙意极表赞同。”
11月18日，阎又复电张、卢、冯、胡、孙等，说明“政纲解纽，中枢失驭，国事重要，总摄须贤。合肥段公，硕望耆勋，举国推戴，出执大政，名实兼符。循诵荩筹，至深慰佩。已肃电敦促，即日入都就任矣。”
11月19日，阎再电段祺瑞，称“万乞俯允罗请，即日命驾入都就任，艰难宏济，民望甚殷，肃电上陈，伏祈察纳。”再请段入京就职。
在各方表面一致的联合拥戴下，段祺瑞于11月22日入京，11月24日正式就任“*临时执政”，组织“临时执政府”。
阎锡山在拥段的同时，也增加了与孙中山先生的联系。自1912年9月孙中山先生抵并视察以来，阎锡山一直与中山先生疏于直接联系。对此，阎锡山在“国父二次北上之忆述”中作了如下解释：“我了解本党的理论，是在东京的一个短时期。民国之后，因山西处于北洋军阀包围之中，与广东形格势禁，我对总理的言论，则了解不多。总理民国元年莅太原，指示：‘革命虽成，而吾侪不能暇豫，以天下事往往破坏易而建设难也。晋省于民军起义之际，既立此好榜样，则今后于中国建设之事业，亦当为各省模范”。故而委曲求全，至致力于省内建设，以等待时机。
然而孙中山先生却一直在关注着山西。1920年9月3日，“中山先生与唐绍仪、伍廷芳等闻北京有更换山西督军之说，大为不平，派张宗海（传系某要人化名）秘密到晋，转示应付之方针。”大意谓“孙等闻中央有换晋督之说，大为不平。如无此举，晋省仍进行内政，为全国保此模范区域，为北方树一革命壁垒，决不令陷入漩涡。如张（作霖）、曹（锟）必不讲公理，则晋、陕等联为一气，不久唐继尧则誓师滇省，甘、陕将联秦州叶荃，仍进凤翔，然后分道内进，等语。”
孙中山与段、张结成“反直三角同盟”后，即让张继以私人名义致函阎等，要求协助北伐成功。此时，阎锡山似认为时机已经成熟，遂默许支持。
北京政变后，冯玉祥电邀孙中山先生北上，共商国是。孙中山于1924年11月10日在广东发表“北上宣言”，主张“速开国民会议，废除不平等条约，以民族民权民生为基础，以谋中国统一与建设，造成独立自由之国家”。11月13日，孙中山先生启程北上。辗转于12月4日抵达天津。
在孙中山先生启程北上之后，11月27日，阎锡山即派王宪赴津欢迎先生，“并请训示，奉示在山西试行主义，病愈（其时孙先生已患病）到晋详为面谈”。同时，“策动每县各推举代表二人，一人代表政府，一人代表民间，组成山西国民会议促成会”，设会址于海子边教育会，由山西大学教授李翰章担任主持人，以示响应孙中山先生“北上宣言”中“速开国民会议”之号召。
12月21日，孙中山先生向“各省各军民长官”发出“马电”，声明“文对于时局主张，以国民会议为解决方法。日前发表宣言，谅承鉴察。兹特选派同志分赴各省区向民众宣传，每一省区约二、三人，务使国民咸灼然于会议之性质及关系，其宣传范围，以此为限，不涉及地方政事军事。”接到孙中山电文后，阎锡山于23日电复先生，表示“马电奉悉。尊处选派同志宣传政见，具见伟筹，已饬属知照矣。”
北洋军阀混战时期，各路军阀皆从各自不同的利益出发，翻云覆雨，今天甲、乙联手以制丙，明日乙丙合作以对甲；忽而称兄道弟，说不尽的好话，忽而剑拔弩张，视为寇仇。阎锡山既已置身于军阀混战的旋涡之中，也就势所必然地不能脱此窠臼。第二次直奉战争之后，随着形势的变化，阎锡山逐渐开始转向，由联段、冯反直，变为联直吴、联奉张，而反对冯玉祥的国民军。
第二次直奉战争的结束，并不意味着天下太平，而是与新的分化、组合相伴随，酝酿着又一轮的争斗。
首先，是“反直三角同盟”的瓦解。孙中山先生致力于国民革命几十年，作为“*革命的先行者”是当之无愧的。当孙中山于1924年11月离粤北上发表‘废除不平等条约’和‘召开国民会议’的主张后，段祺瑞马上以‘外崇国信’和‘召开善后会议’相对抗。张作霖也在1924年12月底孙中山到达天津后，劝告孙中山放弃联俄、联共、扶助农工的三大政策。这使抱病北来的孙中山极为愤慨，病情恶化，于1925年3月12日在北京逝世。”由于孙中山先生的突然逝世，本来就十分松散的“反直三角同盟”随之自行瓦解。
接着，是直系势力的再起。1924年11月初，直系兵败南下。但一向刚愎自用的新直系首领吴佩孚并不甘心。吴佩孚在是月中旬到达汉口后，即以直系各省军阀的名义发表通电，宣布组织所谓“护宪军政府”，以此代表*行使一切内外政务。1925年内，吴佩孚逐渐控制了湖北，并于10月21日在汉口成立“十四省讨贼联军总司令部”，自立为司令。在吴佩孚组织讨贼联军的同时，孙传芳控制了东南五省。第二次直奉战争后，奉军乘势开往上海，从而引起了直系浙督孙传芳以及直系其他将领的恐慌和抵制。1925年10月15日，孙传芳以浙闽苏皖赣五省联军总司令的名义通电讨奉，爆发了“浙奉战争”。“浙奉战争”的结果，使奉军势力退出江南，撤至山东境内。江浙五省成了直系孙传芳的势力范围。
继而，是奉军内部的分化。“浙奉战争”之后，奉军内部发生了郭松龄倒戈事件。郭松龄系奉军中后起的重要将领之一，与张学良私交甚笃。时受张之委托组织第3方面军，任第10军军长。郭对张作霖于第二次直奉战争后，大举入关抢夺地盘，积极进攻国民军不满。曾提出罢兵息争，退兵关外，保境安民，开发东北的建议，未被张作霖采纳。加之对第二次直奉战争过后分赃不均的怨恨，决心倒张（作霖）。遂与冯玉祥订立密约，于1925年11月23日宣布“班师回奉”，要求张作霖下野，拥护张学良为总司令。25日，郭率所部7万余人由滦州向山海关进发。一路向北，12月20日，占领了距沈阳百余里之新民。后虽由于盟友李景林的变卦和日本帝国主义的干涉，郭军归于失败，但奉军却因此而元气有伤。
与此同时，奉冯反目。冯玉祥在第二次直奉战争中，为了对付曹吴，暂时与段张联合。战后，奉张势力大为扩张。张作霖背弃当初奉军不入关的约定，大举挥军入关，抢缴直系败军枪械、收编直系军队，抢占地盘，从而加剧了与冯玉祥的矛盾。
郭松龄事件之后，吴佩孚、张作霖、冯玉祥三者的关系发生了新的变化。冯玉祥的国民军在郭松龄举兵后进占了热河，同时向李景林提出假道出关援郭的要求，（李原参加郭、冯、李“小三角同盟”）李不允。冯军继续进兵，1925年12月下旬攻占天津。李军退往山东，与张宗昌结成直鲁联军。这时，冯玉祥有意联吴制奉，但吴佩孚不忘冯当初倒戈回师陷其于困境之旧仇，拒绝合作。而与张作霖联合，共同对冯。冯玉祥在局势于己大为不利的情况下，宣布下野，随后将军队和地盘交给下属，自己准备到苏联去考察。吴张商定：吴军由京汉线北上；直鲁联军由津浦线北上；奉军负责关外（指西北）；奉张助吴军饷200万元；北京政局将来由吴主持。随即，奉军、直军、直鲁联军联合向国民军进攻，发动了所谓的“讨赤”之役（冯玉祥当时倾向于苏联）。
面对军阀势力的重新分化改组，阎锡山秉承一以贯之的处事方法，并没贸然行事，而是在加强自身力量的同时，观望局势，等待时机。
出兵石家庄作为一次军事扩张的预演，使阎锡山看到晋军的弱点和不足，决心进一步加强之。所以，阎从石家庄撤兵后，即着手进行第二次扩军。“乃将晋军扩充为两个师、十二个旅，步兵将近四十个团，骑、炮兵各两个团，又另各十余营。兵额总人数在八万人以上。”
与此同时，阎锡山开始重新调整他与各个方面的关系。
此时，国民1、2、3军已扩张到三四十万人，人多饷缺，军械无着，于是就图谋向山西发展。他们驻扎在山西的东、北、西三个方向，就像钳子一样扼住了阎锡山的咽喉。国民军构成了对晋省的严重威胁。面对国民军的威胁，阎锡山也多有考虑，甚至默许直吴、奉张联合进击，但一直未付诸实施。
1926年春，奉军、直军、直鲁军联合向国民军发起进攻，所谓“讨赤”之役拉开了序幕。吴佩孚为事先扫除由武汉北上攻冯之障碍，要求阎锡山予以配合，在此之前先行出兵京汉路，肃清盘踞京汉要津顺德（今邢台）之国民军第二军郑思成部，打通京汉线。由于当时直吴军队尚未北上，奉张军队的主力也未入关，阎锡山担心公开反对国民军，会使国民军的枪口先集中到山西方面来，假以抓孔庚为借口，出兵顺德。
孔庚自1917年被阎锡山释了兵权后，即出省谋职，策动反阎。1925年曾联络樊钟秀、胡景翼进攻山西未成。其时，在郑思成部任职。据周玳回忆，1926年3月的一天，阎锡山突然把他和商震找去，说：“山西究竟是和张、吴合作倒冯，还是和冯合作，现在还不能决定。可是孔庚现在顺德，他对山西始终野心不退。我们不如趁这当子，先把顺德拿下。千万不要放走孔庚，要把他俘获解回省来。”“当时顺德的驻军郑思成，是国民二军的部属。张士吉（国民军派往山西进行疏通工作的代表——作者）听说老阎要对顺德用兵，非常诧异，就找台寿铭（时任晋军参谋长——作者）一同来问讯。阎说：‘我们出兵顺德，完全为了解决孔庚，这是山西内部的问题。孔庚不解决，山西不能自保，还怎么能够拿出力量来帮助你们总司令呢？’”
是年3月初旬，阎锡山应吴佩孚所请，出兵娘子关，取石家庄，然后沿京汉线南下。所派部队系商震的第1师，以及杨爱源的第6旅，外加周玳之一个炮兵团（由周玳亲自带队指挥）。出关部队到石家庄后，以杨旅驻石防守，其余部队驻京汉线的元氏、高邑、赞皇等地。国民军郑思成部的前哨被肃清以后，乘火车一直开到顺德附近。商震第1师，在周玳之炮兵团的配合下，经过一天激战，首先肃清了顺德外围，郑部退守顺德城内。次日，晋军以全力攻城。炮兵先进行猛烈的炮火准备，步兵紧随其后，攻入城中。郑军不支而降，郑思成出逃，孔庚被俘。据周玳回忆，“郑思成在兵败入城以前已先逃走，孔庚原在城内指挥，看见大势已去，才逃到天主堂内藏匿起来。我们忙派了一连人到天主堂搜查，一进教堂，果然发现有一个身穿便服的人，形迹可疑。有人问：‘你是不是孔庚？’那人态度从容地说：‘我就是孔庚，你们要怎么样？’兵士们听说他正是孔庚，就要上去捆绑。他大声喝道：‘你们不要无礼，我和你们的长官都是朋友。你们是谁带队来的？周玳来了没有？叫他们来见我。’士兵看他气宇轩昂，不敢对他动粗，忙派人向我报告。我赶到天主堂一看，果然是孔庚，便向他说：‘老总叫我们请你回山西，就请你和我们一路走吧。’他说：‘我不去。’我说：‘你要不去，我们都交不了差。’纠缠了一会，他才说：‘我本来是不到山西的，不过，冲着你们就走一趟吧。’”就这样，作为联吴反击国民军出兵顺德的借口，孔庚被带回了山西。孔庚解到山西后，被软禁在都督府内的庆远楼，过了两个月就把他放走，临行时还送了他3000元旅费。阎锡山虽然表面上由此拉开了反击国民军作战的序幕，但在孔庚问题上仍留有充分的余地，这从一个侧面反映了阎锡山的联合直奉反击国民军亦有权宜因素在内。
郑思成部被解决之后，商、周等部北返石家庄待命。此时，直吴、奉张已开始对国民军采取行动。于是出关晋军除以杨爱源部返防太原外，其余各部再由石家庄北上，到保定收编魏益三的国民军第4军（魏部不久前新被冯玉祥收编，列入国民4军序列）。商、周两部抵达保定后，魏益三即闻讯请降。阎锡山对魏部归附，表示欢迎，遂授予“正义军”之名义，仍由魏益三任军长，继续驻守石家庄。至此，晋军由石家庄而顺德，再由石家庄而保定，为吴佩孚北上攻冯先行开道，打通了京汉线北段。
尽管阎锡山以抓孔庚为借口，多方掩饰晋军出兵之真实意图。然而，既已与国民军兵戎相见，即成骑虎之势，正面开战只是一个时间问题。
晋军回防后，不日，吴佩孚即率部开到保定。在此之前，阎锡山与直、奉议定的作战计划是：直军和奉军分别由京汉、京奉两路进军，直攻京津；晋军则从大同一带进攻察绥的国民军，从外线对国民军形成大包围态势。
吴佩孚进驻保定时，奉张已于此前，压迫国民军在4月中旬撤出北京，退往南口和西北地区。吴恐奉张独掌中央政权，遂一面再整旗鼓，准备继续进军；一面“根据‘关内之事，张不过问’之原约，要求张作霖让渡********。……奉张因直系内部出了问题，才增加军队，并参加了北京政府。现在吴佩孚刚刚统一军权，就要让他放弃北京，实在不合情理，好在国民一军尚在（吴佩孚击败了在河南的国民二军；张宗昌、李景林的直鲁联军在京浦线上打败了国民三军——作者），否则直军岂不又要打奉军吗？所以张作霖决定留冯以制吴，不再进攻南口了。”国民军“见此情形，遂改变战略，以刘汝明驻守南口，集中主力攻打雁门关，想乘机占领山西。”r>1926年4月国民军撤出北京后，张之江任国民军全军总司令，鹿钟麟任东路军总司令，宋哲元任西路军总司令，石敬亭任后方总司令，驻平地泉。这时国民军各军共约20万人。国民军东路军主要在南口和多伦两地与奉、直军队作战；国民军西路军主要在晋北13县与阎锡山的军队作战。
由于预料到国民军进攻山西当在雁北大同，约在4月，阎锡山即开始陈兵大同一带。在此期间，他在第二次直奉战后扩军的基础上，又临时扩编两师——第3师，师长王嗣昌；第4师，师长谢濂。谢濂奉命带丰玉玺旅和部分炮兵到大同布防。王嗣昌师则驻在阳高。孔繁蔚师带领李德懋旅向德胜口杀虎口一带前进。杨爱源旅从石家庄回太原后，也被派到大同去增援。可是国民一军在察绥一带驻有宋哲元、韩复榘、石友三、石敬亭等部，兵力相当雄厚，相形之下山西在大同的防务比较单薄，所以阎又把商震和周玳从石家庄调回。商、周一回到太原，阎锡山就发表商震为前敌总指挥，孔繁蔚指挥左翼，王嗣昌指挥右翼，周玳率炮兵配合作战。当时晋军的部署情况是：商震任前敌总指挥，统一指挥作战。大同正面，由谢濂负责，主要部队有第4师谢濂部、第6旅杨爱源部、第7旅高冠南部及周玳炮兵部；大同左翼，由孔繁蔚负责，主要部队有第3旅第6团荣鸿儒部、骑兵第2团孙祥麟部及冯鹏翥的迫击炮兵；大同右翼，由王嗣昌负责，主要部队有王嗣昌的第3师、第5旅丰玉玺部及温玉如的炮兵部。
待部署停当，阎锡山又命谢濂“将天镇得胜口铁道拆去数里”，“防敌夹击”。此时，由于直吴、奉张、直鲁联军与晋军的联合行动，国民一军已处于包围圈中。“国民军为了先击破山西，取得军事上的有利地位。乃以宋哲元部从杀虎口、得胜口数路分进，合围大同。”国民军攻晋的具体时间是5月18日，总兵力约达8万人之众。
进攻大同的国民军，由西路军总指挥宋哲元亲自率领，所部包括韩复榘、石友三、石敬亭等部，拟第一步先下大同，恢复京绥线交通，第二步会师桑乾河左岸，肃清雁门关以北的晋军，以稳固战线。
由于双方都是有备而来，战斗十分激烈。国民军6路来攻，占了战略上之主动权——第6军韩复榘部由得胜口入晋，先发制人，一举占据孤山高地和要冲镇川堡；旋又攻下大同车站，打通了京绥路，直逼大同城下。第5军石友三部由杀虎口入晋，先后攻取左云、右玉。第4军方振武部由得胜口以北入晋，依原定部署夺得阳高、应县。面对国民军的猛烈攻势，晋军全面吃紧——战略要地孤山、镇川堡失守，第13团团长杨呈祥阵亡、第5旅旅长丰玉玺被俘、第6团团长张荫梧受伤，部队伤亡惨重。激烈的战斗一连进行了七八昼夜，双方形成对峙局面。
正当阎锡山欲战难胜，欲罢不能的时候，忽接张作霖急电，大意是“从南口仰攻居庸关伤亡很重，攻不下来”。要晋军将“孤山队伍撤下来，开到雁门关一线，作好防御工事，采取守势。等候奉张的骑兵打到察北，占了多伦，威胁张家口的时候，再行出击”。阎锡山遂命前线商震“暂撤至雁门关之线，集结兵力，先取守势，待机进攻”，采取攻势防御。其具体部署是：“商震指挥的队伍，撤雁门关。右翼王嗣昌师带同第六旅撤到繁峙附近沙河，指挥东起平型关、西与雁门关附近联系。左翼孔繁蔚、李德懋撤至阳方口一带，不使敌人有迂窜扰的机会。为了不使敌人占据雁北富饶的地区，采取‘钉钉子’办法，派傅汝均旅李生达、萧维汉团配有炮兵营、手榴弹营，帮助张汝平（代理大同镇守使）守大同，傅作义团守天镇，李服膺营守浑源，魏德新团守朔县”，待机再战。
5月27日，晋军依照阎锡山的命令，放弃大同城郊以外部分地区，扼守大同及雁门关等要隘。晋军撤至雁门关后，即利用地形，沿长城构筑阵地，迅速布防，以待机出击。
国民军识破晋军的退兵之计后，也随即调整了部署，紧紧跟进。后撤的晋军立足未稳，即与尾随而至的国民军再次交战。小馒头山一战，从拂晓一直打到上午10时左右，双方死伤狼藉。晋军再次遇上了强敌。
国民军进攻山西，显示了强劲的战力。使直吴、奉张认识到还不到分手的时间，随即重新调整了双方关系。6月28日，吴佩孚与张作霖在北京会晤，进一步协商所谓“讨赤”事宜。据王怀庆致阎锡山的电报称，“雨帅宥日由津来京。玉帅勘晨由长辛店来京，往还拜晤，深为融洽。即于勘午在怀仁堂欢宴，雍容一堂，军政大体，不难彻底解决。并于晋军此次攻伐赤军，苦战多日，待久耐劳，赞美弗置。两军拟定直鲁奉军艳日拂晓，对西北下总攻击令。”
此后，奉、直两方军队联手向南口的国民军发动攻势。8月中旬，在奉、直军队的紧逼下，国民军从南口撤出，退往西北。在此之前，奉军吴俊升部于8月上旬，攻占了多伦。国民军在南口丢失的次日，下了总撤退令。
与此同时，在晋北战场，晋军与国民军经过一段时间的胶着对峙之后，国民军由于指挥不统一、无后方作战、内部分化等诸方面的原因，开始陷入被动。晋军则由于部署的调整、武器弹药的充足，以及各部的据险死守——傅作义部死守天镇，竟达三月之久；李生达部坚守大同城池，国民军数度强攻都未能破城……，则逐渐由劣势转为优势。据6月29日阎锡山致王怀庆艳电称，“晋北近日战况，均甚得手，灵邱、浑源之敌，昨今两日完全击退。敌人死伤甚重，掳获亦多。现正在追击中。灵邱方面已与魏军接头，以后动作更觉容易。”
国民军撤出南口后，开始从晋北撤军。8月18日，大同在被围困三个月后，宣告解围。国民军相互掩护，纷纷向绥远五原地区撤退。8月24日，“晋省境内已无敌踪”。晋军乘势“以三路追击”，先占丰镇、集宁，继入平地泉，9月3日，占了绥远首府归绥。从而把山西的地盘扩展到了绥远一带。在占了归绥之后，阎锡山立刻发表通电，以“敝军占领绥远后，维持秩序，镇抚地方，急需得人”为由，“权委前敌总指挥商震代理绥远都统”。至此，阎锡山攻讨国民军之役，以国民军势力从山西退出，晋军势力向绥远扩张而宣告结束。
国民军在久攻雁门关不克，被迫撤退的情况下，内部发生了分化，陈希圣、韩复榘、石友三等先后“投效”阎锡山。对于投晋之国民军，阎锡山均优礼有加，一再声称，“彼此皆为国家军人，此次以兵戎相见，责不在两君（指韩复榘、石友三）”。“弟对待朋友，向系开诚布公，请释注为盼。”韩、石等部投晋后，分别被编为晋军第13、14、15等师，韩复榘、石友三等分任各该师师长。
联直、奉攻讨国民军之役，是阎锡山第一次向外界显示他的军事实力。经过两次扩军的晋军，以大约8万左右的兵力，持久作战达三逾月，抵御了十余万国民军的进攻，最终转败为胜。它以晋北13县饱受战火蹂躏的代价，为阎锡山赢得了地盘的扩大和军事实力的加强，使他的政治影响力进一步增强，从而在北洋政坛中取得了举足轻重的地位。另一方面，单从军事的角度看，该役使长期以来疏于作战的晋军得到了实战的锻炼，积累了固守城池的经验——天镇、大同的守城战，成为依城固守的典型战例。自此，晋军以善守而著称。
1926年9月，出国考察的冯玉祥从苏联返回，遂即重振旗鼓，于当月17日，在五原就任“国民联军总司令”，并宣布“与国民党结合为一，实行孙中山先生三民主义，并接受国民党全国代表大会一二两次宣言及议决案。”进行了“五原誓师”。五原誓师，使国民军“大旗”再树，被各方击溃之国民军旧部，在总司令的号召下，纷纷归附。原投晋的韩、石、陈三师人马，不久亦离阎而去，“到五原和冯玉祥会师去了”。“这三师人归附晋军以后，补发了欠饷，换发了服装，还补充了弹药，现在突然开拔，阎锡山非常惊异。”事已至此，阎锡山并未追究，而是做了顺水人情，借机缓和与冯玉祥的敌对关系。随即“给冯玉祥拍了一个电报，大意是：你的队伍经我代管了几个月，现在你既回国，他们自应仍由你指挥”。后当冯玉祥通过商震向阎锡山表示“望合作救国实行三民主义”。他随即亦通过商震以“合作救国，实为素愿。我意三民主义由晋先行。余与中山先生本有成约，惜其去世，故而中止。应俟此次战争告一结束，使晋对得起国人，然后彼此整理，以待其变事必有成。似此办理，有利于国，有利于己”作复。并于其后的10月9、10两日，连电商震，就韩复榘援陕及冯军东进指出，“陕事吴、张迭电委晋处理，遂拟令向方（韩复榘字）援陕，即以三省托向方，此举故为成全向方，亦为焕章谋也。希相机进行。至焕章东来，殊非其时，应切实忠告。如不见纳，我决不愿再与焕章失和，只好撤兵晋疆耳”。“冯此等举动，必遭奉击，可告以彼如欲占归绥，我可让之，晋军即撤回晋境”。明确表示了愿与冯玉祥修好之态度。
这样，晋军与国民军的两位总司令，随着时局的变化，又在“实行三民主义”的“共识”下，准备再度“携手”，共同参加国民党的北伐统一事业。
