北伐军退出济南后，“忍辱负重”，继续北伐。
第一集团军除刘峙部由蒋介石率领退回徐州，其余各部从齐河、东昌一带绕道北渡黄河。5月6日进占晏城镇，9日占禹城，11日占恩县，13日占德州。
当北伐军攻占济南后，张宗昌在山东的根据地遂告丧失，张作霖乃下令安国军全线退却，从新调整防线，以德州、顺德为第一道防线，以沧州、石家庄为第二道防线，以马厂、保定为第三道防线。至于在直隶省境津浦线的正面则以孙传芳军位置于大城及其以西地区，张宗昌军据守沧州附近。
德州被北伐军占领后，安国军分三路向沧州溃退，北伐军全线追击。张宗昌的骑兵和白俄兵千余名以及钢甲车五列在沧州集结，企图死守沧州、保定一线，孙传芳军一部守庆云、盐山，褚玉璞部守沧州西区，于学忠、袁振青、窦联芳各部守杜生镇和沙河桥，奉军第三、四方面军守高阳、保定，张作相在天津、马厂间，汲金纯在高碑店附近。
平汉线方面，第二集团军顶住了奉军的反攻之后，开始奋起反击。5月8日韩复榘军占领顺德，5月11日进抵石家庄，与晋军会师。
山西方面，阎锡山顶住了奉军的强大攻势后，准备开始反攻。其部队在第一次讨奉部署的基础上，阎锡山略加调整，以朱绶光为参谋长，商震为前敌总指挥；以原右路军为右翼军，总指挥为第12军军长徐永昌，副总指挥为第2军军长杨爱源，前敌指挥为2军6师师长孙楚，主要作战任务为出井陉，抢先攻占石家庄及其以南的元氏、高邑，控制京汉路，切断石南奉军主力北归之路，迫敌转向京汉、津浦两路之间第2集团军的进攻地域，从而迟滞冯部前进，并吸引奉军增援部队，助左、中路军顺利攻取北京；以原左路军为左翼军，总指挥为第1军军长商震（兼），副总指挥为第四军军长傅存怀，前敌指挥为第7军军长张荫梧；另增加中路军，由原机动游击部队组成，亦由商震任总指挥，左翼、中路实为作战主力，其共同任务为分头出平型关、涞源和龙泉关、阜平，从侧背对仅有六七师兵力可以机动防守支援的保定形成南北夹攻之势，势在必得，并向京绥线方向派兵一支（由左路副总指挥傅存怀率领），由雁门关向大同方向出击，屏蔽察绥奉军主力张作相、汤玉麟部向南策应，并相机作预备队，从北路围攻北京，确保主力攻占保定、北京。
经4月上旬右翼军中路获鹿战役、南路马山（山西平定县属）诸战役、北路塔崖（河北平山县属）诸战役一期作战，平山、保定一带奉军预备队被牵制到石家庄以南，为中路出击营造了良好的态势。其时，第2集团军在陇海路及豫北彰德（今安阳市）遇到了张宗昌所部和奉军的激烈反攻，冀南之敌大部被吸引到豫北战场，冯玉祥尚派石友三等部支援津浦路方向的第1集团军作战，彰德前线冯部主力孙连仲、韩复榘两部血战半月有余，战线几次险被奉军突破，牺牲累万，方才打垮当面之敌。其间冯玉祥、蒋介石多次发电请阎锡山迅速攻打石家庄，以解豫北之困，均为阎敷衍过去，冯玉祥对此甚为不满。直至4月26日，奉军在京汉路石南段防御已被冯军突破，开始向北溃逃，阎锡山才下令右翼军集中优势兵力总攻石家庄一线，并于5月3日令左翼、中路相机发动总攻击，策应攻石战役。
5月9日晨，第3集团军攻克石家庄，取得阶段性战果。此时，奉军察哈尔方面主力被阎军左翼偏师阻击，无法南下增援，石南军队大部在冯玉祥军追击下溃逃，保定已成无险无兵的不守之地。第3集团军各路会攻冀中，在保南方顺桥一带与奉军展开了北伐中最为激烈的一战。
张作霖在济南易手时，本拟倡息争和议，愿将所有军队开出关外，不问关内政治，这是奉张一贯手段，他不能忘情于关内，可是形势不利时即率军出关，等待机会，这也是奉系得天独厚的地方，不像皖系直系一旦战败即穷无所归。可是奉张退出关外的拟议忽然变卦，因为有人向奉张建议，革命军战线拉长了，除了冯、阎两军尚习惯于北方气候外，余均不服水土，而冯玉祥善变，和阎锡山之间尚有矛盾，不如坚守京津，以待变局。因此奉张遂欲行又止。
方顺桥为保定门户，一旦失守，保定即暴露在冀中平原，四面皆敌。故奉军在方顺桥一线集结了主力：第三方面军团长张学良，辖第八军万福麟，第十军王树常，第十五军汲金纯。第四方面军团长杨宇霆，辖第十六、十七联合军胡毓坤、荣臻，第廿九军戢翼翘，第卅军于芷山，卫队旅旅长张学成。奉军形成对晋军的压倒优势。
5月15日，阎锡山部先后抵达方顺桥附近，分为左右两路部署：以商震为前敌总指挥兼左路军总指挥，辖第一路丰玉玺，第二路张荫梧，共八个师；以徐永昌为右路军总指挥，杨爱源为副总指挥辖十四个师。
5月25日右翼方面受到奉军由高阳、河间调集大军向定州、清风店一带猛攻，使杨爱源之第二军遭受极大伤亡，不得已退据东亭和安国，27日奉军向永丰镇及王家庄猛攻，前线陷于危险境地，阎锡山一面令前线部队坚守待援，一面飞调定县、石家庄之预备部队绕出敌后，28日遂解永丰镇及王家庄之围，并向阳城、天台寺、郑家庄、张登镇追击，31日奉军全线总退却。
左翼方面5月17日冯玉祥所部的郑大章骑兵军突然全部撤退，阎锡山即电询冯玉祥，冯复电云：“据京津特别侦探报告，京汉线上敌力尚厚，我军此时似宜合京汉、津浦、京绥三路统筹进兵计划，各路同时并进，以策万全。现因津浦各路军渡河以后遇日人扰乱，后方连络尚未能确实；且各军部署须加整理，其津浦、京汉间残敌极多，京汉方面前进不无顾虑。”等语。由于冯军忽然撤退，奉军乃利用此良机移动其中路兵力向阎军左右两翼包围，在满城、一亩泉、康关苦战，屡进屡退。
晋、奉两军在方顺桥胶着十数日，战线一日数易。奉军不时进行短促反击，危急时，阎锡山把卫队旅和宪兵营都拉上火线，并连连电冯，请派在方顺桥东南方向距离前线最近的韩复榘部紧急支援。晋军右翼军总指挥徐永昌也派周玳与韩取得联系，韩复榘已当面同意照办。孰料正值此一发千钧之时，冯玉祥却一纸调令，借口津浦线方面危急，将韩部调至石家庄。韩部撤离后，晋军右翼顿失屏蔽，进攻方顺桥的部队险遭奉军合围。幸得第4集团军先头部队赶到，才得以解围。但阎、冯两人在北伐中遭遇危难，互不救应，一报还一报，成为以后种种不快的潜因。
蒋介石退回徐州后，表面上将北进部队的指挥权全部交给冯玉祥，而实际上他仍在遥控指挥。当各部队渡过黄河，进展顺利的时刻，蒋介石又振作起来。
5月19日，蒋介石由徐州赴郑州与冯玉祥、白崇禧会商一切。为了鼓励第二、第四集团军努力北进，他首先许诺将山东地盘给了冯玉祥，并于5月16日任命孙良诚为山东省主席。对桂系，蒋介石容忍了李宗仁在武汉扣押程潜，独霸两湖的事实，并对白崇禧承诺第四集团军的待遇与其他各军一律相同。随后第四集团军即参加北伐。第四集团军本应从武汉乘车北上，由于车辆很少，路轨又多数毁坏，于是决定由前敌总指挥白崇禧率领叶琪第十二军、魏益山第三十军、廖磊第三十六军及刘春荣独立第八师先期北上。路过河南新乡，白下车拜访了冯玉祥。接着，白崇禧轻车简从，率先抵达石家庄。他告诉阎锡山，先头部队将可克日到达。阎锡山非常高兴，对白说：“你来了，胜过十万雄兵。”经过一个月的急行军，叶琪第十二军门炳岳师最先赶到正定增援。门师一下火车，即与奉军遭遇，发生激战。奉系的飞机也飞来侦察，得知白崇禧率大部队赶到，便向后撤退。反奉战争形势为之大变。
此时，国民革命军第二集团军停留于石家庄——武强——阜城一带，阎锡山的第三集团军在定县、望都、方顺桥、完县之线独当强敌，死伤万余，阎当时屡电蒋介石和冯玉祥乞援，蒋深知会师之举已经到了刻不容缓的地步，乃电冯玉祥令第一二集团军各军团，于5月25日以前，集结于庆云——南皮——交河——武强——晋县——正定之线，为进攻做好准备。
而安****此时的部署为：
津浦路方面：褚玉璞部分驻于津浦路之捷地——张高屯一带；其第一线在砖河镇至东西泊头一带，由褚部第六军军长徐源泉指挥，并筑有坚固工事。孙传芳之李宝章、郑俊彦两部驻守庆云——盐山——马厂。
河间方面：袁振青、窦联芳、孙殿英等部在杜生镇——交河；于学忠及孙传芳的主力部队在任邱——河间一带。
高阳方面：奉军第三四方面军、戢翼翘主力及骑兵第二军之大部，在高阳之南滹沱河北岸一带，筑有坚固之防御阵地，其第一线在蠡县、博野附近。
平汉路方面：汲金纯军防守高碑店至易州一带。
平绥路方面：奉军高维岳之第九军，汤玉麟之第十二军，郑泽生之第卅一军于5月11日以后由朔县、马邑开始撤退至柴沟堡、大同，继向东北方退却。
北伐军沿平、汉，津、浦两路进展的部队，虽已逼近沧州、保定，而两路中间隔离约200余公里；安****在高阳、河间，均配置重兵，饶阳、武强之奉军亦尚未肃清，平、汉路以东，饶阳以西地区，北伐军尚无部队驻守，如安****乘隙进袭，深为可虑；蒋介石遂决定俟第四集团军先遣军到达石家庄、定县之线时，即将鹿钟麟之北路军全部（韩复榘部在内）移至平、汉线以东地区，与刘镇华所部衔接，然后全线同时进攻。
国民革命军自5月28日开始总攻，至6月2日，先后占领保定——高阳——肃宁——河间——沧州之线；安****退据琉璃河、固安、永清、胜芳、马厂一带，北伐军乃分路追击，第一集团军由津、浦路两旁地区前进；第二集团军由任邱、文安、雄县、灞县前进；第三集团军由平、汉路前进。
当北伐军第一集团军第二、第三、第四各军团占领沧州后，逐日向北追击前进，迄6月3日，第二军团第二十六军，由沧州、张官屯沿铁路前进；第三十七军沿铁路以东地区前进；第三军团（欠第四十军）在第二军团右翼之地区前进；第四军团在第二军团之左翼，沿运河以西地区前进，这时北洋军右翼占据大流标、王镇店，依托子牙河正面，左翼占据西魏村——马厂至铁路之线。朱培德探悉敌情后，遂令各军团追击前进。各军团奉令后，随即开始运动，6月5日到达前线，占领指定阵地，正拟攻击，安****忽自动撤退；这是因为安国军后方被第二集团军席液池骑兵军威胁，恐后路被截，即纷向天津一带退却。北伐军沿津浦路两旁地区跟踪追击，至静海以南地区停止待命。
6月5日晨，北伐军骑兵第二军（席液池）到达静海南面的孙家庄东南柳木杓附近集结，第二十一军的张兴科师，亦由后跟到，即协同攻击占据孙家庄东南柳木杓一带之安****。骑兵第二军，除派一团进占独流镇外，余部均渡过运河，向静海车站攻击。当时马厂的安****自动退却，官兵均无斗志，北伐军遂将防守车站的安****钢甲车击退，于正午占领静海，安****向王庆陀，杨柳青、北仓等处溃退，一部分打算通过天津租界。
6月6日晨，骑兵第二军仍向小站追击前进；第二十一军由台头、胜芳向信安镇、狸狼城方面前进；第四军在黄口镇；第十九师在静海停止待命。
北伐军第二集团军自相继占领河间、肃宁、高阳后，安****于学忠、孙传芳、窦联芳、戢翼翘、万福麟等军，均纷向灞县、宝坻、固安、永清、胜芳一带退却；北路军跟踪追击。6月6日午奉军马占山部千余名被歼，韩复榘于占领固安后，即向廊房前进，以截断京津路交通，并向北京前进，下午4时前锋李汉章旅到达南苑，北京民众均到南苑欢迎。
北伐军第三集团军自占领保定后，总指挥商震即决定沿京汉线追击前进。奉军自保定、沧州等地败退后，主力集结于琉璃河——固安——唐官屯之线；孙传芳、于学忠之强大部队控置于灞县；张宗昌、褚玉璞之直、鲁军，据守大流标——马厂——惠丰桥之线，仍图保全北京、天津地盘，作最后的挣扎。灞县孙传芳忽然撤退，张作霖见势孤力蹙，无可挽救，故不得不实行全线总退却。
5月29日，蒋介石令前方各军于破敌之后，即进至静海——胜芳——永清——固安——长辛店之线，停止待命。
这又是怎么一回事呢？
5月下旬，奉方败势已呈。第2、第4集团军亦均已进入河北境内。三路大军一齐指向北京，究竟鹿死谁手，阎、冯、李之间尤其是阎、冯之间不言的较量已进入白热化阶段。阎锡山在战略政略态势上稳操胜券，故意抬高调门，于5月17日向国民政府发电，请战地政务委员会迅速北来河北统筹该省政务，同日还向冯玉祥发一电，请其在政务委员会到来之前，主持统筹河北税收粮秣，以示自己没有染指河北政务之想。冯玉祥在战乱之中根本无法筹措军需和税收，马上回电请阎锡山主持，恰给阎以口实，使冯自己在以后蒋介石把京津冀察划给阎锡山时难以出口，只能发发第2集团军“工作要好，地盘要小”的牢骚。
冯玉祥因在北洋军阀混战中屡次反戈，一度被称为“倒戈将军”，改编为国民军后又执行亲苏、亲共路线，并有与武汉国民政府合作的历史，故不为蒋介石所喜。虽然冯在弥合宁汉裂痕、促蒋复职等事上对蒋有过帮助，但因其军队数量和作战力均为北伐诸军之佼佼者，是为蒋之所忌。4月中旬，战事方启，阎锡山驻南京代表在徐州见蒋，蒋介石即云“阎总司令先到北京办法较多”。国民革命军总司令部总参议兼第一集团军总参谋长何成浚对其的“体己”话更为露骨：“冯方不卖力，讨便宜。介石意思始终望阎总司令态度持重，严守待机。且谓山西先到北京，尚有办法。若冯先到无办法，且有危险。现在最好于井陉方面以牵制方法助冯。”
最高统帅对战区负责人相亲相间，遂使阎锡山有机可乘。济南“五三惨案”发生后，蒋介石急需对策，阎锡山于5月4日、5日、9日三次去电献计，主张避免与日冲突，转道北伐，建议“联英美以制日”，并投合蒋的心理，称“中国外交无善法，只有忍之而又忍之”，表示对蒋介石在“五三惨案”的善后中对日示弱充分理解。与冯玉祥“主张不顾一切，拼命和日本鬼子干一干，马上给他一个反击，先把济南日兵消灭”的强硬立场截然相反，使蒋对阎有了一种“老成谋国”，可资信赖的印象。有鉴于此，当美国政府致电国民政府愿意充当中日关系调停人时，蒋介石立即向阎征求意见。阎锡山回电认为“以夷制夷”的办法“于外交裨益甚大”，“历来外交，用此策略，致胜者故多”，主张请蒋促成其事。蒋、阎对外交事务的着眼点基本一致，阎又积极主张由蒋行使国家外交大权，这对蒋介石以后决定把外交事务冲繁的京津冀察地区交给阎锡山不无影响。
5月30日，蒋介石亲赴石家庄与阎锡山会晤，磋讨收复京津及善后事项。据有关人士回忆，当时蒋、阎都对冯玉祥军事力量过于强大感到不安，特别是阎、冯都希望向河北、京、津一带发展，利害冲突尤为尖锐。据说蒋、阎谈及冯玉祥时，阎锡山对蒋说了这样一段话：“请你翻开历史看一看，哪个人没有吃过冯的亏？”使蒋在确定人事安排时采取了不利于冯的措施。
能够把比邻晋绥的京津冀察纳入势力范围，实在也是阎锡山加入北伐的一个要因。为实现这一目的，阎锡山早在1927年春即在京津安下了钉子。那时，阎的驻京首席代表田应璜去世，阎即派谙熟日方情况且善于折冲尊俎的南桂馨赴京继任。并与南商定一旦北伐到京津附近，恐有日方阻碍，就由南桂馨通过其在段祺瑞系的关系疏通日方，以便顺利接受京津。如果国内舆论不利，就把责任推到南一人身上。南桂馨到任后，为阎锡山维持与奉方的关系做了大量工作，并且与在日本时的旧交、日本驻京公使馆武官本庄繁（后任日本关东军司令官）少将取得联络，事先通报了山西方面准备出兵北伐的信息，使日方有所了解，为事后取得日本对阎锡山占领京津的“谅解”打通了关系。南桂馨到任前，阎的几个代表行动极不统一，南到京后，统一了事权，山西方面的公关情报工作打开了一个新局面。不久南就和英国驻京公使蓝普森举行了一次会谈，蓝普森称侨民们担心国共合作收回租界，特别表示怕冯玉祥军进驻京津“发生意外”，南详细解释了阎锡山不会是武汉政府的做法，如阎接收京津，一定并且必须遵守与各国的既定条约。安定了外使，初步摸清了外交方面对北方大局的心理，为以后阎锡山展开对英美的外交活动作了铺垫。直至同年6月晋奉开战，南桂馨始迁津躲避奉方的缉捕。
当时，因在华北用美国借款修筑铁路一事，张作霖和日本方面交恶。日本驻京公使芳泽曾密告与阎派驻京代表苏体仁有联系的原安福系政客姚震，“只要阎军打入保定，我们日本就可压迫奉军退出华北，如果退出时，溃不成军，恐怕山海关也不易出去了。”日方这一情报很快由姚震从京转到天津，即由南电告阎锡山，加上事后更为准确直接的相关情报，对坚定阎锡山二次攻奉时采取“中心突破，侧面接敌，先下保定”的决心起了很大作用。南桂馨在天津先后联络了北京“安****政府”的内务部警政司长李升培、警察总监署司法处长蒲子雅等人，能够及时获得日方、奉方主张与国民党合作的新派、掌管京津治安卫戍大权的北洋皖系势力对时局的看法。在张作霖即行败逃之际，南已经联系好了以上各个方面，尤其是与日本天津驻军司令新井达成谅解，由日方放出不惜一战的口风，坚拒归降冯玉祥军的原张宗昌部徐源泉、孙殿英两军以第2集团军名义接收天津，而由张宗昌撤离时，留一个团交从保定奉方软禁中跑出来的傅作义指挥，并报请阎锡山同意，由傅在时机成熟时直接出面负天津卫戍之责。甚至阎对京津冀察的主要人事安排都通过南取得了北京外交使团的“谅解”。在掠取地盘，扩充实力的总目标前，阎锡山可以说是不计手段，事事尽可“从权”的。
南桂馨“不辱使命”，在关键时刻，于5月18日电阎：“奉方又议决反攻，阻我前进。（一）咸日去电，已否接到？最重要者外人表示冯军到京津附近，必挑衅。我军单独到此，极欢迎。（二）伟民方面与馨规定四条：（甲）芳泽劝告奉张于最短期内退出关外。（乙）奉张将中央政权及近畿维持秩序各事交付伟民负责，由伟民征求各方意见解决国事。（丙）奉军退后，无论何方军队，不得侵入马场、任邱、大城、保定线上，并由山西约同宁方劝止各军前进。如冯不听劝止时，山西及宁方军队概不参加北进，冯方所有单独行动，山西与宁方不负责任。（丁）山西设法约同各方赞成伟民征求解决国事意见电。以上四条，昨日芳泽回复认为甚妥。拟一、二日向奉张作有效之劝告。如条约有效，我方似应预作准备。”阎锡山即于21日将此电内容报告蒋介石，蒋次日即予原则同意之回复。北伐即将告成之时，南桂馨于5月29、31两日向阎电告了“法国领事及驻津部队司令不同意第二集团军到京津……日本第三师团以动员编制大部抵津”及“美领事询问第二集团军能否不至京津？”等情报，此时蒋介石正在石家庄与阎晤面，这些对蒋在善后安排中充分考虑京津的归属问题无疑产生了一定的影响。
阎锡山派员与日方接触，尽管事属机密，但为了浑水摸鱼，在张作霖之后寻找新的代理人，也不排除日方有意透露机密之情事。1928年5月11日，北伐战事正酣，蒋介石忽致阎锡山一电，称“现密倾据上海电呈日本土肥原致我兄一电文云：目下各方情势均极危急，日本为保障东亚和平，维持大局起见，业已决定彻底地讨伐南方之暴行，而扑灭过激主义，确望阁下从速与反过激派奉天讲和，倘不讲和，恐亦为日本之敌，请熟思之断然讲和，以救中国于累卵之危，谊属知交，故直陈劝告等语。土肥原夙以挑拨为事，兄曾注意及之。此电尤有离间恫吓之作用，可恨亦复可笑也。”阎锡山即于5月14日电复蒋介石云“现密承示日人土肥原致山电文，离间恫吓，诚如尊论，可恨亦复可笑。奉张惯用离间挑拨手段，值我整个革命军一致猛攻之际，要须慎防，当团结我全军将领，一致奋斗，以破其奸也。”阎锡山复电未提及他本人是否接到过土肥原此电，且复电电文言辞闪烁，这段公事与史无徵，鉴于土肥原是阎锡山在日本士官学校的同学，且二人在校时过从甚密，“土电”的出现更显得扑朔迷离。不管如何，“土电”确实起到了一、离间蒋阎关系，二、促蒋在考虑华北人事安排时注意日方态度的作用。对在北中国政治角逐中增强阎锡山的地位无疑是有利的。
5月30日，第3集团军攻占保定。这时，同在京汉路方向北进的第2、第4集团军只推进到石家庄及其以南地区。为不失时机抢占北京，第3集团军以张荫梧部为左路先锋，以孙楚部为右路先锋，兼程挺进北京。奉军在石家庄、保定战役中连连失利，加之日本逼迫，张作霖不得已于6月2日晚离京返奉，6月4日晨在沈阳皇姑屯站被日本人爆炸殒命。而同日阎锡山则被南京国民政府限即刻到电特任为京津卫戍总司令。6月8日凌晨，阎锡山先头尖兵孙楚率其卫队营及副官处乔装为奉军，在北伐诸军中最先进入北京，顺利接收了奉军留京卫戍部队鲍毓麟旅的防务（一说张荫梧部先到北京）。鲍旅和平退往通州时被第2集团军先头冯治安部所阻，又退返北京，被第2集团军汽车抢运到京的韩复榘部尖兵营缴械。韩部试图趁势接受北京防务，被掌握北京警政的地方维持会王士珍等人拒绝。
6月6日，张宗昌、孙传芳所部纷向天津东北退却，张作霖已于6月3日离开北京，北京城治安由北洋元老王士珍等维持，北伐军第一集团军第四军团第四十一军九十一师进驻大邵庄及张庄；第九十二师驻二蔡庄、盖宿铺一带；军部进驻大邵庄；第三十四军第八十八师驻大小流标、小庄；九十师及胡正卫团进驻马厂；第三军团第二十七军驻惠丰村、五面城子、赵济庄等处；第四十军到达清水泊、萧吉沽、东槐庄一带；第三独立师在大李庄、李官庄、十槐村等处；总指挥进驻李云龙屯，第二集团军第一方面军第三军第十九师吉鸿昌部，于是日早到达静海；第五十六旅进至良王庄；五十五旅进至静海北十里堡待命；第二师于夜12时出发，进驻王口镇、陈土桥、中滩里、前万头一带地区，集结待命，并派一小部到黄岔、台头，对天津方面警戒。
6月7日，第四军团方振武进抵独流，其第三十四军军部进抵马厂，该军奉令开驻良玉庄、独流镇、杨柳青、胡村一带整顿待命；总指挥部进驻沧州县城。孙良诚接到消息革命军韩复榘已进占南苑，张宗昌、褚玉璞部之徐源泉、孙殿英等所率残军约3万人，麇集天津老站，并各有一旅，被法、日各国使馆驻军监视，不令下车进街，天津市区内甚为安静。张宗昌、褚玉璞已逃向秦皇岛；郑大章骑兵军已占领武靖、三河；刘镇华部已到达通州。
6月12日，孙良诚命骑兵在胜芳附近对天津警戒；第二十一军主力驻灞县，一部驻新镇县；第十九师移驻文安；第二师进驻任邱；第四军仍驻大城；第十八师移驻河间待命。
1928年6月2日，张作霖下令总退却后，即偕同黑龙江督军吴俊升，及参谋杨毓珠等，携带重要文件，乘专车回奉。6月4日晨，火车到达沈阳城外日本租界地之沟帮子铁桥时，为日人阴谋所埋置之地雷突然爆炸，张作霖受重伤，吴俊升炸死，重要文件亦被毁灭，张作霖因受伤过重，延至6月4日上午10时亦告毙命。
张学良在北京闻乃父噩耗，即急电回奉各将领，约束士兵，维持治安，并饬顾全外交，勿令外人借口干涉；一面促使北京各界出面，接洽和平让渡北京办法，磋商结果，留鲍毓麟旅在京维持，待北伐军进城交代，然后退出。
天津方面的直、鲁军，闻张作霖炸死，甚为恐慌；张宗昌、褚玉璞急电阎锡山乞降，阎主张容褚拒张。当时败退天津附近之北洋军为数甚众，计于学忠部在杨村，孙奎元部在韩家墅，袁振青部在北仓，徐源泉部在芦兴河，王炼部在杨柳青，许琨部在军粮城，孙传芳的残部数万，亦退集天津附近。孙传芳、张宗昌、褚玉璞在天津召集会议，和战主张未能一致，潘鸿钧最激烈，仍主相博，欲造成第二次济南惨案之重演，在天津、河北一带，挖壕筑垒，配置队伍，借此向商家勒索饷糈；张宗昌亦致函各国领事，谓大军绝食，要求设法，一时形势极为紧张，人心皇皇，各国侨民更无安全保障。
6月4日，奉军既陆续退出北京，国民政府即行任命阎锡山为京、津卫戍总司令，并促早日莅任，维持治安，北京治安维持会及中外人民，均盼阎锡山即日赴京，信使不绝于途。
6月6日上午9时，鲍毓麟旅退出，革命军孙楚部于10时许在民众欢呼声中入城，商震率部随后继至，阎锡山亦于6月8日在保定就职后，于6月11日偕同第四集团军前敌总指挥白崇禧进入北京，主持善后事宜，军阀盘据之北京，这时才完全入于革命军之手。北京之旧称，亦遵政府明令正名北平，直隶省改称河北省。
北平方面虽然息兵，但天津则形势不容乐观；阎锡山乃呈请政府任命张荫梧为北平警备司令，傅作义为天津警备司令，接洽收编徐源泉、郑俊彦、李宝章等部。天津于北京和平收复时，尚在张宗昌手中，张部与孙传芳、褚玉璞各军，由于沧州以北各地为北伐军第一、第二集团军压迫，节节后退，集中天津及津东各地，兵力颇众，张欲以此作最后挣扎，但已是强弩之末，无能为力了；而齐燮元及安福系吴光新等，又欲乘机拿钱收买这些残军，别图活动。所以天津形势，颇为纷乱。当时直鲁军中将领如徐源泉等不想坐以待毙，开始自谋出路，暗中与革命军联系收编。张宗昌闻讯，打算从中捣乱，天津警备司令傅作义与南桂馨出面活动，逼迫张宗昌、孙传芳、褚玉璞等离开天津，然后对各部进行整编。孙传芳乃只身逃奔关外，张宗昌、褚玉璞则率领一部分残军退守津东。
由于蒋介石暂时没有能力对北方大局进行控制，于是做了两点安排：一是北平、天津交阎锡山负责，二是听任奉军和平出关。冯玉祥对这两点不赞同，曾向蒋介石提出相反的意见。冯部韩复榘军则不受约束，于6月6日擅自开入南苑，并将维持北平治安最后退出之奉军鲍毓麟旅强迫缴械，因此引起外交团多数人士的不满。
蒋介石宣布实践其1月间复职时的宣言，北伐完成即引退，于6月11日向国民党中央提出辞呈，准备告退。阎锡山、李宗仁、白崇禧等高级将领均纷电促请以大局为重，继续领导全国，并恳从速北上。
1928年6月14日国民党中央执行委员会决议推蒋介石赴北平祭告孙中山，并视察一切，借便恭移孙中山遗榇来南京安葬。蒋介石以北方问题甚多不便坚拒，其实也不想，遂收回辞呈。国民党中央又推阎锡山、李宗仁，参与祭告典礼。蒋介石遂于6月26日偕吴稚晖等由南京绕道汉口邀李宗仁同车北上，过郑州时冯玉祥由新乡来迎，车抵长辛店，阎锡山已先在，乃于7月3日偕阎锡山赴北平。
1928年7月6日上午8时，蒋介石在香山碧云寺孙中山灵前举行北伐完成之祭告典礼，冯玉祥亦赶到参加，阎锡山、李宗仁、蒋作宾、何成浚、朱培德、白崇禧、陈调元、方鼎英、方振武、魏益三均参与典礼。北伐是孙中山最后的愿望，可是北伐完成了，孙中山却不能亲见。
蒋介石祭告孙中山文如下：
“维中华民国十七年七月六日，国民革命军既奠北平，弟子蒋中正谨诣西山碧云寺，致祭于我总理孙先生之灵曰：溯自我总理溘逝，于今已三年余矣。中正昔侍总理亲承提命之殷，寄以非常之任，教诲拳拳，所以期望于中正者，原在造成革命之武力，铲除革命之障碍，以早脱人民于水火，乃荏苒岁时，迄于今日，始得克复旧都，谒展遗体，俯首灵堂不自知百感之纷集也，方总理哀耗抵粤之时，正中正铲除陈逆驻军兴宁之日，追忆总理‘政纲精神不在领袖’之遗言，不啻对我同志永诀之暗示。中正服务在军，病不能亲药饵，殁不及亲殡殓。惟我父师，不可得复，戒衣雪涕，疚憾何尽？自兹以还，唯以继志述事，痛自策勉，恪遵全部之遗教，益为革命而戮力，三年之间，本党基础濒于危亡者，先后五次，革命势力几于覆败者，凡十五次，而军事危机尚不与焉。每当艰危困厄之来，中正唯一秉遗教、追随先进，勉图靖献，盘根错节，更历已多，洎乎本年中央第四次全会，方克安渡艰难，重现团结。回忆曩时同志在纷歧离析之中，与主义之遭晦冥否塞之会，若非总理有灼然昭垂之遗教，将不知何术以复归于共同？至若横逆之纷然而来，毁谤之无端而集，若非总理有存败不计，与各用所长之宝训，亦几不能力排艰难，奋斗以迄于今日。兹当肃祭灵前，怀过去则抚创而思痛，念未来则临冰而知危。所欲复告于总理者，万绪千端，更仆难尽，已往不追，固不欲琐琐陈述以渎灵听，而来日大难，辄敢以微愿所寄，奉祈昭鉴，谨籀其概，为我总理陈之。（中略）
中正海隅下士，未尝学问，得闻大义，追随革命，胥出我总理教诲裁成之所赐。窃见总理遗教，崇高博大，论其精义，实古昔圣贤所未发，中外宏哲所未窥，语其平易，实天理人心所结晶，野老村妇所共解，奚止兴顽振懦之功，实亦为生命建树之本，今当建国伊始，而总理已长辞人世，不复躬亲指导，千钧之责，寄于后死之同志，唯有戮力同心，勉为祖继，以总理之精神，团结本党之精神，以总理之思想，统一全国之思想，国民之基本既立，人民之解放可期，中正自许身党国，久已矢之死靡他之决心，初不意百战余生，尚能留此微躯，诣总理之灵堂，而致其瞻礼。今后有生之日，即为奋斗之年，竭其全力，济以忠贞，成败利钝，未遑计也。灵爽匪遥，唯昭鉴愚诚而默相之。”
蒋介石祭告孙中山后，于7月11日邀集冯玉祥、阎锡山、李宗仁及白崇禧、鹿钟麟、商震、吴敬恒、陈绍宽、朱培德、张群等会于汤山，讨论整理军事方案及军事意见书，以为各集团军一致遵行的准绳。
事实上，北伐虽已完成，可是残局尚待整理，东北问题张学良虽有心易帜，但日本军阀正极力破坏；平津虽告收复，而张宗昌、褚玉璞等残部退扼滦河，负隅顽抗；革命军内部人事亦纠纷迭起。因此各方所最盼祷的是完成国民革命大业，达成统一中国的愿望。
当奉军总退却后，在北平以东地区分布三道防线，以滦河为第一防线，奉军第十军王树常、第十五军汲金纯、第廿九军戢翼翘及于学忠之一部分担任防守；以昌黎、抚宁为第二道防线，由奉军胡毓坤、高双英两军担任防守；以北戴河、榆关为第三道防线，由邹作华的炮兵及于学忠的廿军担任防守。奉军主力在榆关附近，与热河方面的第九、第十二、第卅一各军形成犄角之势。
奉军在张学良领导下决心投效中央，服从国民政府后，虽因日方压力，未能正式易帜，但已决心不与政府军作战，陆续出关。只有孙传芳仍盘据迁安，张宗昌部在滦河沿岸占领阵地，右翼在丰润北方之狼山、菠罗山、庙山、牙窟山一带，企图利用山地负隅顽抗，另于丰润之西卢各庄、安乐庄、王各庄及丰润以南之马各庄、老庄子、韩庄子一带利用村堡，编成据点式阵地，左翼在唐山之西南方，由韩城镇至胥各庄、河头以迄铁路以南地区，构筑坚固之防御阵地，其第一线在丰台、芦台一带。
蒋介石于1928年7月15日下令讨伐滦河方面之直鲁军残部，任命白崇禧为前敌总指挥，兼右路军总指挥，下辖徐永昌、范绩熙、李品仙等部队，任命方振武为左路军总指挥，辖徐源泉等军，任命陈调元为总预备队指挥，辖刘镇华、丰玉玺等军。
7月29日白崇禧因天津附近积潦，有碍行军，致各军未能依限集中，乃召集会议，决议将集中完毕之日期，展至8月5日，接着奉蒋介石命令：饬左右两路在集中地停止待命，以俟张学良派员与张宗昌、褚玉璞接洽改编，直、鲁军因为有日本暗助，日且派林权助以参与张作霖葬仪之名赴奉天，向张学良提出二次警告，尽极威胁利诱之能事，故直鲁军毫无悔过自新诚意，并向宁河、丰台、芦台增兵，有袭取天津模样，奉军不得已，乃暂取中立态度，为易帜之准备。
蒋为彻底肃清直鲁残军，决俟各部到达集中地后，即令沿平、榆大道两侧，向滦河扫荡前进，至8月18日，总预备队第三十七军及独立第三师，开赴宁河、丰台镇集中，归右路军总指挥白崇禧指挥，刘镇华之一部，亦已开赴宝坻地填防；第二集团军骑兵第一军郑大章部，改向宁河东北之王大庄前进，与鸦鸿桥集中之第三集团军孙长胜骑兵师连络。
直鲁残军第七军军长许琨，在宁河、丰台、芦台一带指挥拒阻政府军前进，8月25日，革命军右翼军徐永昌部，占领北塘至河北之线，一部在淮满淘一带与中央军范绩熙部联系，同时占领马庄——黄庄镇——北强庄——葫芦沽——东园之线，与直鲁军对峙；总预备队第二集团军刘镇华之一部，进至宝坻，主力在杨村，第三集团军谢濂所部在顺义、西苑一带待命，9月4日丰台、宁河、芦台之直鲁军已有退却模样，9月6日直鲁军忽撤退至老庄子、韩城镇、胥各庄一带之预备阵地；丰润北方之山岭，直鲁军陆续增加，似有于该处决战企图，9月7日，中央军主力进至宁河、丰台，一部进占塔慈庄、崔成庄——大韩庄——西棘坨之线，右翼军进占芦台、杨家泊一带，准备于9月8日拂晓沿平、奉路攻击前进，与左翼军联系，白崇禧因左翼军与中央军之间，兵力甚形薄弱，即令总预备队第十二军、第三十六军，迅速开赴前线，归左翼军李品仙指挥，担任进攻韩城镇、老庄子之敌，与左翼军及孙长胜骑兵师联络，向唐山、开平迅速推进，以截断胥各庄、河头之直鲁残军，使中央军右翼军进展容易。
9月8日，革命军第十二军到达韩城镇附近，第三十六军到达老庄子镇附近村落，占领攻击准备位置；9日，中央军占领曹庄子——李堡寨——保全庄之线，右翼军进占于家泊——铁匠庄之线，第十二军于拂晓击溃韩镇之敌，正午追至马驹桥——曹家之线，同时，第三十六军击溃老庄子镇之敌，正午追至小马各庄——桃李营——陈庄子——韩庄子之线，直鲁军向龙王庙、开平方向逃窜；其左翼部队在河头、胥各庄一带，本筑有坚固工事，因政府军左翼军已克丰润，沿平榆大道前进扫荡，先头部队已在牛郎山与直鲁军接触，直鲁军侧背感受威胁，故河头、胥各庄等处亦受牵动，纷向乐亭撤退；唐山方面亦因无险可守，乃纷向开平、古冶一带撤退，十二军于午后4时进占唐山；第三十六军向开平攻击前进；白崇禧进抵芦台。
革命军左翼军第三十军军长魏益三，自7月15日奉命参加平东战役，即率所部集中平安城镇，先解决盘据遵化之直鲁军，并以约一师兵力，逐渐向前推进；9月上旬，先后奉到白崇禧、李品仙命令，即以所部第一师为右翼队，袭取丰润迤北牙窟山、庙山之敌，以第二三教导师及骑兵团为左翼队，袭取丰润东北方狼山、白蛇岭、菠罗山之敌；魏益三亲率暂编第四师为总预备队，位于大王庄，策应各方。9月8日午前3时，全线向直鲁军猛烈总攻，因其地山岭高耸入云，绵延不绝，形似长蛇，坚如铁壁，直鲁残军复筑有坚固工事，仰攻不易，魏益三以非克复丰润，各友军难以进展，乃督饬各师奋勇进攻，激战数小时，直鲁残军不支，纷纷溃退，遂将各该山岭次第占领；右翼队占领牙窟山、庙山后，俯视丰润城内，了如指掌，即以火力重施压力，左翼队占领狼山、白蛇岭、菠罗山后，并以强大兵力向东南扫荡前进，以收包围之效。
同时，独立第八师刘春荣所部，向高各庄、小王各庄、安乐庄、西魏庄、芦各庄、高力铺、七里屯等村落攻击，直鲁残军利用坚固阵地，节节顽抗，刘春荣督众奋勇猛扑，直鲁残军不支，相率退据丰润城内，闭门死守，刘师即分路进攻西南两城门；第三十军各翼队，亦由庙山等处抄攻东北两门，将丰润城包围，直鲁残军负隅顽抗，经刘春荣挑选壮卒，冒死爬城，直鲁残军旅长于铭钟见大势已去，率队由东门冲出，向榛子镇方向逃窜，政府军遂完全占领丰润城。
第三十军魏益三部及独立第八师自9月8日正午占领丰润后，即分路由平、榆大道，向榛子镇进发。9月9日，第三十军各师，到达牛郎山、板桥、国特营一带，遭遇褚玉璞残部占领牛郎山、椅子山等险要阵地，与革命军相持；刘春荣师在该军右翼扫荡前进。骑兵第一军郑大章所部，在该军左翼前进。第十二军自占领唐山后，即由平绥铁道两旁，追击前进，与第三十六军衔接，向开平前进；9月10日拂晓，第三十军各师在牛郎山与敌激战极烈，亘一昼夜，第三十六军进攻开平，激战数小时，直鲁残军向滦河方面溃退，革命军遂占领开平。第三十军闻第一师进占板桥、国特营，第三师进占牛郎山，向榛子镇追击，新收编之敌军骑兵团，已到黑山沟之线。魏益三以直鲁残军业已溃退，即令第一师向椅子山一带之敌攻击，奏功后，径向沙河驿方向追击；魏并亲率第二、第四各教导师续进。是日拂晓，独立第八师由原地向双桥、栗园、后屯之直鲁残军攻击。郑大章率所部原拟向左翼迂回，绕攻榛子镇直鲁残军之后，李品仙以牛郎山既下，直鲁残军主力集中椅子山一带，即急令郑军由庠子地区向南转至平、榆大道，迅速进至野鸡岗附近，协同第三十军攻击，郑军随移转方向，追击至妙灵山——洼里山之线，协同第三十军攻击椅子山及榛子镇之敌；9月12日下午2时，第十二军会同中央军占领洼里山——吕家坨——周家桥之线，直鲁残军向古冶退却，椅子山、榛子镇、双桥一带直鲁残军亦纷向滦河溃退，革命军左右翼预备队及中央各军，全线追击前进。刘镇华部之预备队一部推进至宁河待命，9月13日，革命军全线向滦河追击前进，右翼军之骑兵，于午刻占领滦县，第十二军亦随即到达，中央军占领张家庄——陈家庄——邵家庄之线并派一部向滦县推进，下午5时左右，到达河西岸史家坎——夏庄子——王家马堡之线，直鲁残军于9月13日完全渡过滦河东岸，占据武山、石门镇一带。9月14日，革命军全线到达滦河西岸待命，准备渡河进攻。
直鲁残军既不服奉方之劝告归降政府，张学良乃电请政府军暂勿渡滦河，以免误会，并允负责解除直鲁残军之武装。
白崇禧乃暂驻滦河西岸静候奉方解决。
9月21日，奉军下令总攻，直鲁残军力不能支，向奉军请求停战，解除武装，褚玉璞并允赴奉，此时张宗昌虽仍不肯屈服，然所部溃散殆尽，不得已乃化装由朱各庄向滦河东岸下游逃窜，被奉军俘获。9月23日午刻，滦县之直鲁残军遂告完全肃清。
