而此时，武汉国民政府却处于四面包围之中：蒋介石新军阀在东，广东军阀在南，四川军阀在西，奉系军阀在北。但主要的威胁有二：一是东面的蒋介石新军阀，二是北面的奉系军阀张作霖。蒋介石据有闽浙两省的全部和苏皖两省的部分地区，并有英美日等帝国主义国家的支持，虽然他拥有的主力部队不多，战斗力不强，暂时难以对武汉政府发起进攻，但他打着革命的旗号，却是武汉政府最危险的敌人。尚未受到革命势力打击的奉系军阀张作霖，拥有当时北洋军阀中最强的实力，在吴佩孚、孙传芳两大军阀势力的主力先后被击溃后，张作霖决定兵分两路与北伐军决战，一路沿津浦路南下，进抵苏北、皖北，威胁南京；另一路为奉系部队的主力，沿京汉路南下，陈兵于豫南的许昌西平、郾城一带，窥伺武汉，对武汉政府构成巨大的威胁。
在这种情况下，武汉国民政府与中共举行国共联席会议，决定暂不顾蒋介石的反叛，继续北伐。4月19日，在武汉举行第二期北伐誓师大会。以国民革命军第一集团军第四方面军为主力，任命唐生智为总指挥，进军河南，与奉系军阀作战。
21日，北伐军沿京汉铁路向河南开封、郑州进发。
至此，北伐战争进入了第二阶段。
组建国民革命军第二集团军
“四一二”政变后，宁汉对立，这是冯玉祥始料不及的，为此冯玉祥极度忧虑，对前途感到茫然。而蒋介石则不断派代表与冯联系，特别是以军饷援助拉拢冯，因为冯的军队长期粮饷困难。陕甘等地本为贫困之地，加上连年用兵，土匪遍地，西安又长期被围，财力枯竭。苏联援助冯部的枪械，因运输困难积压在蒙古库仑，远水解不了近渴。冯部新扩编的部队有的仅能以铁锹、大斧作兵器，财政上更是捉襟见肘。
郭绪印、陈兴唐：《爱国将军冯玉祥》，河南人民出版社，1987年，第127页。
在这种
情况下要尽快摆脱困境，冯玉祥认为，只有打败北洋军阀，取得更大的军事胜利，经济上才有出路，政治上的成果也才能巩固和扩大。因此，冯的主张是“军事第一，一切都要服从军事，他的主张也代表了全军上层的意志”。刘骥：《南引使命》，见《文史资料选辑》4辑，第68页。于是冯确定了一个折中方案，即一方面仍受武汉政府领导，另一方面又不公开反蒋，这样一个中立立场暂时也能被各方接受。当时，唐生智也派代表探测冯对蒋的态度，结果得知冯并不同意反蒋，只是表示服从武汉政府的领导，出师潼关，与北伐军夹击敌人，会师中原。
武汉政府在武昌誓师时，宣布组建以国民军联军为主体的国民革命军第二集团军，委任冯玉祥为第二集团军总司令，并要求冯立即率部出师潼关，以解决北方直、奉军阀的主力。
冯玉祥被委任第二集团军总司令后，即在原国民军联军总司令部的基础上，决定组成第二集团军总司令部，其主要成员为：总参谋长石敬亭，秘书长何其巩，政治部长刘伯坚，参谋处长吴锡祺，副官处长张自忠，军械处长吴树荣，军需处长舒双全，军医处长徐廷瑗，宣传处长黄少谷。
4月21日，冯玉祥通令全军并通告就职，随后便进行对国民军联军的改编工作，冯将所属的30万大军分为六个方面军。
中央军即由第一、二、三、四、五、六、十三军共七路，加之独立第五、十、十三师，以及骑兵付建衡集团、骑兵第五师、骑兵第二旅、炮兵徐廷瑗旅组成，由冯玉祥亲自兼任总司令。其战略目标为：各路大军集中于陕西华阴、潼关、河南的灵宝一带，经洛阳向郑州迸发，担负着对敌正面进攻的任务，总兵力约6万多人，枪4万余支，炮80门，机关枪300架，迫击炮107门。
东路军由刘镇华担任总司令，刘在西安解围后，将其残余的3万余镇嵩军交由冯玉祥收编，冯便将其所属部队仍由刘统帅。东路军由第二十三、二十四、二十五、二十六军共四路人马组成，拟定该路军由孟津渡过黄河，从河北向京汉路方向进发，以切断京汉路北段，阻止京、津一带奉军主力南下。
南路军总司令岳维峻，由第八路、第十二路田生春师，缑天相师。何全升、丑彦俊、胡景铨、张德枢、康振邦等五个旅组成。兵力约2．8万余人，枪1．9万多支，集结于卢氏、雒南间，经洛宁向洛阳前进。
右路军孙连仲率第十四路军马克齐旅、马斌旅、姚震乾旅，兵力约l万余人，枪8000支。集结于龙驹寨、荆紫关一带，担任保护陕鄂交通。并将张耀抠师，开到河南邓县、内乡一带，拟令编入该军，经南阳向郑州前进。
左路军总司令徐永昌，由第十五路及第九路井岳秀之一部组成。由陕北碛口渡河，经太原出娘子关。人数约8000人，枪约5000支。
北路军总司令宋哲元，由第七路军及独立第一、第八、第二十三师组成，集中指定地点待命。参见《冯玉祥在陕西》第367页。
其余陕甘等地各部队，均在原驻防地加紧训练待命。
按照此战略布署，冯玉祥已集结大约20万兵力作为会师中原的主力，“仅关中一道，已集大军十五六万”。参见《冯玉祥在陕西》第368页。这样，待命出征的冯玉祥所属部队在各集结地日夜操练，随时准备奔赴前线。此次跟随冯玉祥出征的部队大多为能征善战的精锐之师，士气旺盛，战斗力强。只是装备尚不尽如人意，人多枪少，急需补充。冯急电武汉国民政府，请求拨款补助，在汇款未到之前，仍立足现状，毫不懈怠地做好出征准备。
1927年5月1日国际劳动节之际，冯玉祥在西安宣誓就任国民革命军第二集团军总司令，同时举行隆重的就任宣誓仪式。就职仪式会场就设在红城广场上，各路将士排成整齐的方阵，进入广场，在猎猎军旗下，聆听冯玉祥总司令宣读誓词：
“谨奉国民政府命令，于十六年‘五一’劳动节在西安红城整率全体革命将士，以为大多数被压迫民族谋最大幸福之决心，联合革命民众，将全力献给于党，拥护党之主义及政策，与国际帝国主义者及其国内一切反革命势力，作最后决斗，完成国民革命。恳此目的，生死赴之。谨宣誓于青天白日之下。”郭绪印、陈兴唐：《爱国将军冯玉祥》，河南人民出版社，1987年，第129页。
为了激发官兵的爱国思想，冯玉祥在宣誓完毕后，向官兵发表演说，阐述他组建国民革命军第二集团军及誓师北伐的重要意义，接着分析了目前第二阶段北伐所处的客观形势，号召全体官兵振奋精神，誓死拚命，彻底地埋葬奉系军阀张作霖及其所有的大小军阀势力。
冯玉祥的宣誓词及演讲对官兵们无疑是一种莫大鼓舞和鞭策，士兵们个个群情激奋，斗志更坚，他们用口号和歌声表达自己不惜牺牲，前赴后继的决心。
宣誓仪式前，为了方便各路大军从四面八方入城参加仪式，第二集团军司令部将西城墙打开一个缺口，修缮一个简易门，事后西安社会各界将其命名为“玉祥门”，以资纪念。
冯玉祥就任第二集团军总司令的宣誓仪式，结束后不久，冯军各路大军开赴与直鲁联军、奉系军阀决战的前线，这标志着冯玉祥此时虽对蒋介石还存在认识不清的问题，在国共两党问题上出现政见彷徨的倾向，但足以说明他投身国民革命的步骤加快，他的政治态度定会随着其军事实践进一步明朗。
冯玉祥及其所属部队壮怀而激越的东征，便这样开始了。
督师潼关
潼关位于陕、晋、豫三省交界处，是历史上的一座著名雄关，历来为兵家必争的战略要地。
潼关是在东汉末年代新旧函谷关而起的一个重要关隘。
它的具体设置年代约在公元191年至公元211年间。《通典》卷173《州郡三》。
关城由谁修建，史书未明确记载。东汉末年董卓大乱之后，汉献帝失去了对全国的控制，军阀割据，相互混战，一时出现混乱局面。
而关中地区被马超、韩遂等10余个割据势力所占有。为了牢固占领关中，利用此处有利地势开始设城把关，以防东方割据势力的入侵，便成为必然措施。否则不可能出现公元211年曹操破马超于潼关的战争。
《通典》卷173《州郡三》。
自此，潼关就成为以后封建王朝扼守关中与通往中原的关卡了。
潼关的得名历来说法各异，《通典》载：“潼关因地有潼水。”故一般认为是由于它的西侧紧靠“潼潼有声”的潼河而得名的。
黄河流出晋、陕峡谷后，在潼关处被秦岭山脉所阻，折向东去。这里南有秦岭，北有中条山，黄河受这两条山脉的夹持，所以关城附近的河床，最宽处约有一公里，窄处仅七、八百米。渭河便从这里汇入黄河。
潼关之所以取代新、旧函谷关，除与东汉末年和三国鼎立后的战乱形势有关外，最根本的还在于它优越的自然条件。
“潼关之南秦岭雄峙，东南即禁沟之险，西北有洛、渭二川汇黄河，抱关而下，西侧华岳三峰丛环诸山，高出云霄。”
《潼关县志》卷上《形势》。
正是由于这“关门扼九州”、“飞马不能逾”的险峻地势，东汉末年以后各朝帝王大都在这里设城把关，以控制关中与中原的交通要道。
如此重要的交通要道，可谓西北门户，三秦咽喉，兵家争之便在情理之中。然近代以来陕西军阀混战，相互割据，兵乱扰民，地方终日不得安宁。土匪武装打开城池后，常以寻找敌人为名，轮番闯入商户、住宅，翻箱倒柜，掠夺财物，施暴于良家妇女。因此，潼关一带的百姓视兵如虎狼，敬而远之。而冯玉祥率军进驻潼关时却是另外一番景致。
1927年5月6日，冯玉祥率第二集团军中精锐部队进驻潼关。部队开进城时，冯下令全军不得有丝毫扰民，违者严惩不贷。因而数万大军进入潼关城，秋毫无犯，不入民宅。城内百姓闻之，“只通过街巷为士兵们送水喝，秩序井然”。百姓们喜形于色，称赞道，民国以来才第一次看到这样的“老总”。
抵达潼关的当天，冯玉祥便以第二集团军总司令名义向各界发布出师宣言，并告各军：
“革命促玉祥要即日东出潼关，关外民众呼救之声，更使玉祥不能多有一分钟的停留，今日率军东行师次渭南，念途中所见，以原如沐，麦浪青青，令我欣怀于丰收可望，民众有赖，深为久苦天灾人祸之关中父老兄弟姊妹庆幸，更得为革命前途庆幸。同时又回想到，自玉祥到西安三月余来，虽竭尽心力，与关中诸将领共同努力，为革命奋斗。然值经乱既久，以后复苏固属不易，而军民且日在争食交恶之中，每做一事阻碍丛生，以言免除老百姓的痛苦，而须日日向老百姓发粮秣，以言整顿军队，而各部队日日以无衣无食见苦，在此种矛盾情形之下，进行革命工作，玉祥身当其冲，无一刻不与困难博斗。
勉持至今，得以整军出关，谅为关中各同志所谅解，兹有数事。
不能已于言者，本临别叮咛之意，分述为后。
1．于总司令为党国所信托，作西北屏障，其对于革命之精诚勇敢，历数十年为一日。历史具在，不至今日始述，凡我居留西北的同志，不做革命而已，要做革命必须竭诚拥戴这极可信赖之首领。以巩固陕局，推动革命工作。月前陈逆树藩入豫，企图再祸关中。一时渭河以北，暗潮甚烈。玉祥将出关会师。一般人又以后防为虑，若将有大乱发生的隐忧。此因由于许多人不明白玉祥与于总司令对于后防已有切实的计划与部置，而另一方面实有人尚未能完全信赖于总司令，故易为流言所动，望我后防全军将士，一致爱戴于总司令，视之为慈母，敬之如良师，后防自无可虑，前敌胜利必有把握。
2．已经得命令出关的各部队，须由各将领拿出慷慨誓师的精神，激励自己，激励全军，一洗数年来只累陕民无补国家的恶名，及以前二军在河南的过失。本军此次师以义动，要以我辈的热血，为民众换取幸福，为中华民族换取自由平等，虽牺牲一切终有价值存在。人生不过数十寒暑，我辈已届中年，过此不图，不仅虚此一生，且将以污秽之名，贻之当世，并为后人所唾骂。孰得孰失，望诸将领放大眼光去看，自可了然。幸勿再以眼前的小利害，误了自己远大的前程。
3．凡未得到命令出发的各部队，须先裁汰老弱，及油滑不堪恶习已深的份子，害群之马既除，然后才有认真整顿训练之可能。其次要把窳败的军械除去，不要土造枪，并断绝土造枪的来源，不再制造。总之一兵要当一兵，一枪要当一枪，如此做去，不仅可以整理军队，也就是减轻老百姓的负担。爱惜老百姓，须知要有好军队，才能够说得爱民。要军队能严守纪律，才能够说得上不扰民。要做到饿死不取民物，冻死不入民宅，才能够说得上真正的爱民。不扰民要先革去军队一切的坏处，才能够说得上革命。若离开整理训练军队，而空言爱民，不扰民，空言革命，这完全是自欺欺人的说话。诸将领生长陕省、驻军陕省，不先从整理军队入手，为民除害，而反日事为民添累，于心何安，遑言革命。叠接报告，驻陕各路颇能振奋自新。以第八路的第一师、第十路、第十二路之一部，为最有成绩。此后尤望努力前进，其它各部队更应猛自醒悟，急起直追，不要甘作革命时代的落伍分子，与革命离弃，而得到一可惜的结果。
4．应特别注意，在军队中提高党的工作和政治工作，并在驻军地方，极力援助地方党部，及各种社会团体的发展。其理由已屡见于本总司令部各种文电布告中，这里不再重述，只是在责任上多提明一次。望各将领深一层明白我们要干革命，不是胡干的，必须要了解革命的道理，知道国民党是怎样一个党，及国民党所领导的国民革命，是怎样一个革命，革命军队，对于人民的关系如何。不然不是挂了招牌不卖药，便是挂了招牌自己还不知卖的什么药，这样干革命不仅可笑可耻，而且可悲可痛。
驻陕各将领们，玉祥此时倚车待发，用最真诚而又最热烈的意思，向你们申述。望能感动你们救这贫苦无告的同胞，为大多数的父老兄弟姊妹谋最大幸福，得到最好的效果。”《冯玉祥在陕西》，第350~352页。
此时的冯玉祥对北伐信心十足，他以第二集团军总司令名义向全军下达了总攻击令，第二集团军的中央军以孙良诚为前敌总指挥，方振武、马鸿逵为副指挥。5月6日即克灵宝，7日攻下陕州，随后相继占领卢氏、洛宁、渑池等县。奉军张治公部顽强抵抗，退守铁门、新安一带。
前线不断传来胜利的捷报，促使冯玉祥以更加紧迫责任感继续调兵遣将，运筹帷幄。他每日凌晨即起，须坐在办公桌前，批阅各地战况电报，下达作战命令，指挥着千军万马，在陇海铁路线上与北洋军阀中最顽固的一支敌人决一死战。
