原本冯玉祥对蒋介石的印象非常不错，尤其是冯玉祥在遭受直奉晋三方围攻的讨赤之战，南方国民政府从精神上给予巨大的声援。而蒋冯并称南赤、北赤，大有英雄相惜之感。1927年6月的徐州之会是两人初次相见，蒋介石慷慨大方，从经济上大力援助已经穷得叮当响的冯玉祥，更让人感动，所以在蒋介石下野后，对于后来的复出冯玉祥给予了鼎力的支持。这是两个人一生中最为融洽的时期，甚至义结金兰，亲如手足。
在北伐战争后一个阶段，蒋和冯在郑州、柳河、新乡、党家庄等处数度晤面，并且每次都进行了长时间的密谈。在当时，蒋、冯都拥有雄厚的兵力，在蒋看来，冯对他的拥戴，不但在军事上增加了声势，更为重要的是，在政治上提高了他的威望。在冯看来，蒋介石既有中央政府的凭借，只要与蒋靠拢，则一切困难和问题就会得到他的帮助。所以在这段时期内，蒋、冯之间一直保持着密切合作的关系。在北伐军事结束以后，冯为了表达对蒋拥戴之诚，甚至要在郑州为蒋铸造铜象（经左右劝阻未果）。蒋对冯也是推崇备至，蒋的代言人吴稚晖有一次给冯的电报中，誉冯为“一柱擎天，唯公有焉”。
然而，这一美好时期维持的时间太短了。两人的结合基础纯粹是在政治利益之下，一旦没有利用价值，结合也就没有意义了。很快，矛盾凸显，继而激化，再后来就是分裂，对抗，最后弥合不了就只有付诸武力，战争开始。
蒋冯最初的矛盾主要有以下两点：
一是河北省和北平、天津两市地盘的问题。在北伐战争最后阶段，冯派鹿钟麟指挥韩复榘等部战胜奉军，进兵河北，直取平津。因鹿和韩都是河北人，鹿在一九二四至一九二六年期间，又是北京的实际统治者。他们都抱着打回老家、取得地盘的迫切要求。冯以长期局促于西北瘠苦之区，更是早就有了向外发展的打算。他还曾对人说过：“我们连个海口也没有，向国外购买一些军事装备，真是太不方便。”虽然这时蒋介石已将山东省的地盘许冯，但胶东和济南都在日军占领控制之下，是一个残缺不全的省分，远非河北、平、津可比。当时冯认为他的军队在河北打退奉军付出的代价最大，论功行赏，应该把河北、平、津分配到自己名下。不料在一九二八年五月间蒋介石到石家庄与阎锡山会面之后，却使冯的希望落了空。原来蒋、阎在石家庄会面的时候，他们对冯有一个共同的感觉，认为冯的军事力量过于强大，对他们是一种威胁。特别是阎和冯都希望向河北、平、津发展，他们之间的利害冲突更为尖锐。蒋和冯之间，虽然暂时还没有直接的利害冲突，但蒋这时已经有了统治全国的野心，他惟恐冯的势力发展过快，将来难于控制，所以阎锡山就趁着蒋来和他商议战后北方问题的机会，使出了阴险毒辣的手段，企图把冯打击下去，并借此向蒋讨好。当他们谈到冯的时候，阎对蒋说：“请你翻开历史看看，哪个人没有吃过冯的亏？”这句话正好触动了蒋的心事。他们经过计议之后，蒋便秘密决定把河北省和北平、天津两市的地盘都分配给阎。后来蒋为了对冯敷衍，把北平市长一职给了冯的部属何其巩，但是北平警备司令张荫梧和北平市公安局长赵以宽都是阎的人，实际上统治北平市的人却是兼任平津卫戍总司令的阎锡山。
在河北省和平、津两市地盘分配问题尚未揭开之前，蒋还征求过冯的意见。冯对这类问题，向来不肯直接了当地说出自己的真正意图，唯恐别人说他是争权夺利。他表示一切以蒋的意旨为意旨，以示对蒋的尊重。蒋便趁势说出把河北、平、津交阎的主张。他的理由是：第二集团军拥有鲁、豫、陕、甘、宁、青六省，已不为少；第三集团军才不过冀、晋、察、绥四省，并不为多。况且平、津两地外交关系复杂，不易应付，万一发生意外，难保不造成第二个济南惨案。他认为冯性情刚直，不宜于外交折冲，故以交阎应付为宜。冯对蒋的话不便当面表示异议，问题就这样决定下来。这个问题解决之后，冯在新乡给部队讲话，提出“地盘要小，军队要少，工作要好”的口号，是说漂亮话，也是发牢骚，其实在这一问题上，冯的内心对蒋、阎是极为不满的。这是蒋、冯关系发生变化的第一个因素。
第二个因素是军队的编遣问题。一九二八年七月，蒋介石、冯玉祥、阎锡山、李宗仁等在北平汤山会商东北问题和裁兵问题，冯在前往北平路过保定的时候，为了迎合蒋介石的心理，同时也为了收揽人心，发出一个歌（七月五日）电，提出了统一军权、收缩军队、减轻民困和废除不平等条约等主张。在汤山会议时，他又重申了这些主张，并望各方促其实现。在会议之后，他于八月一日到达南京，并且发表谈话，认为北伐军事结束，各军事首脑人物都应到中央供职，以加强中央政府的力量和威信，使国家能够达到真正的统一，所有总司令、总指挥等名义均应一律取消，以改变过去分裂割据的局面。他这些主张，仍然表现了对蒋介石的支持。这时阎锡山看到冯的言论和行动与蒋靠得很紧，估不透他们意之所在，所以在没有摸清底蕴以前，虽经蒋、冯迭电催促入京，他总是推说有病，迟迟不肯就道，一直迁延到十二月中旬才到南京参加了编遣会议。而冯在南京则早已接受了行政院副院长和军政部长的职务，实践了在京供职的主张，并且保持了与蒋合作的关系。
在编遣会议正式开会之前，蒋介石提出了一个全国共编五十个师的指标（东北除外），要大家进行讨论。冯对军队的编遣，首先提出一个编遣准则，即：“强壮者编，老弱者遣；有枪者编，无枪者遣；有训练者编，无训练者遣；有革命功绩者编，无革命功绩者遣。”他并根据这个准则提出一个方案，即：第一、第二集团军各编十二个师，第三、第四集团军各编八个师，其它不属于各集团军的军队共编八个师。原来他认为第二集团军兵员最多，素质最好，训练最精，战功最大，论道理应该多编几个师；可是他又考虑到，如果按照自己的编遣准则，第二集团军应编的人数就要占第一位，就要超过第一集团军，必然得不到蒋介石的支持，而且会影响到与蒋合作的关系，所以他的方案是，把第一、二两集团军拉平，把阎、李的第三、四两集团军和其它杂牌军压低，以为这样就可以蒋、冯的团结为中心，控制其它方面，这是冯的天真的想法。殊不知蒋此时对冯已有戒心，决不愿冯的力量与自己相颉颃；况且蒋早有剪除异己的阴谋，因此，蒋对冯案采取了不置可否的态度。阎锡山看透了蒋的意图，便提出另一方案。
这个方案是：第一、二、三、四集团军各编十一个师，另设一个中央编遣区，亦为十一个师。不言而喻，这个中央编遣区，当然要由蒋介石掌握。这个方案，表面上是抬蒋压冯，而骨子里还有着离间蒋、冯关系的作用。蒋看到阎案于己有利，看不透阎要借着这一方案来拆散冯和他合作关系的阴谋，故授意何应钦积极支持阎案。李宗仁和白崇禧对此案亦表同意。
因李、白与蒋的矛盾当时已达表面化，只是因为惧怕蒋、冯的团结，故不敢发动，他们当然同意阎的带有离间蒋、冯阴谋性质的提案。在编遣会议正式开会之前，冯案受到多数的反对，而阎案遂得以通过。冯遭此打击，在正式开会时，即称病不再出席。而阎在这时便到处说冯的坏话，说他如何反复无常，如何不讲信义，使冯陷于孤立。
冯托病不出，召鹿钟麟到南京，拟令其代理军政部长，以便于借故离开南京。但因鹿是常务次长，不能代理部务，冯亦无如之何。蒋介石虽明知冯是托病，但也曾两度偕宋美龄亲往探视慰问，以示关切。还有一次，冯正在和部属谈话，忽报孔祥熙来访，冯立即卧床蒙被，呻吟不止。当时外边很多人都说冯患的是“心病”。
冯这次在南京，本想与蒋能有进一步的结合，以便在国民政府占一个重要的地位，同时在蒋的支持下保持自己的强大实力，以形成内外呼应之势。不料在编遣会议上遭到失败，使他看清了不可能再和蒋介石合作下去，于是在一九二九年二月五日以养病为借口离开南京，前往豫北辉县之百泉村。这是蒋、冯分裂公开化的表现。
第二集团军编遣后的部队序列：
第二十师师长韩复榘；系第六军缩编。
第二十一师师长梁冠英；系第三军缩编。
第二十二师师长先为吉鸿昌，后易程心明，系第三军缩编。
第二十三师师长先为冯治安，后易魏风楼，系第十四，第二十三军合编。
第二十四师师长石友三；系第五军缩编。
第二十五师师长先为童玉振，后易张自忠；系第三十军缩编。
第二十六师师长先为程希贤，后易田金凯；系第十八军缩编。
第二十七师师长张维玺；系第十三军缩编。
第二十八师师长宋哲元；系第四方面军所属各部队合并缩编。
第二十九师师长先为刘汝明，后易程希贤；系第二军缩编
第三十师师长先为佟麟阁，后易吉鸿昌，系第十一军缩编。
第三十一师师长孙连仲系第二方面军所属各部队合并缩编：
1929年1月国民党中央召开编遣会议，第二集团军所属为第二编遣区，除原第五方面军岳维峻部划归中央编遣区外，冯玉祥又将所部编成暂编师，各师番号、师长及源流如下：
暂编第十四师师长庞炳勋；系第二十军缩编：
暂编第十七师师长马鸿逵；系第四军缩编。
暂编第十八师师长井岳秀；系陕北地方部队缩编。
暂编第十九师师长万选才；系第八方面军第二十八军缩编。
暂编第二十师师长刘茂恩；系第八方面军第二十六军缩编。
暂编第二十一师师长杨虎城；系第十军缩编：
暂编第二十二师师长马鸿宾；系宁夏回军改编。
暂编第二十三师师长马麒；系青海回军改编。
暂编骑兵第一师师长席液池；系骑兵第二军缩编。
暂编骑兵第二师师长郑大章；系骑兵第一军缩编。
暂编第一混成旅旅长门致中；系驻甘部队改编。
暂编第二混成旅旅长甄士仁；系陕西地方部队改编
暂编第三混成旅旅长赵景文；平系不详。
暂编第四混成旅旅长马麟；系青海回军改编；
暂编第五混成旅旅长裴建准；甘肃地方部队改编。
暂编骑兵第八旅旅长赵席聘；军系不祥。
暂编骑兵第九旅旅氏苏雨生；系绥远部队缩编：
桂系的李、白看到蒋、冯关系破裂，而蒋桂战争迫在眉睫，于是对冯玉祥极力拉拢，最低限度也要冯在战争保持中立，当时冯毫不犹豫地表示要共同倒蒋。对于蒋方冯玉祥的态度同样至关重要，为了请冯出兵援助，提出以行政院长及湖北、湖南两省主席为条件。冯表示：论公论私，都不能使蒋独任其艰，决出兵十三万相助，随即派韩复榘为总指挥，着手进行军事部署。韩复榘部屯兵平汉路南段，石友三部集中南阳一带，张维玺部在陕南荆紫关，孙良诚部集中豫西作总预备队。但是，究竟是援蒋还是助桂，冯玉祥还要看战局的发展，他对属下说：‘他们是势均力敌，总要看上一两个月，才有分晓。‘他认为，北方人爽直侠义，南方人轻佻浮躁，易合易离，而最终收拾大局者，往往是北方人，当蒋、李这两位南方人打得两败俱伤之后，最终要由他这位北方人收拾大局。他采取了坐山观虎斗的策略，待蒋、李双方一败一伤时，坐收渔人之利。
冯玉祥按兵不动，作壁上观。他印刷了大批讨逆布告，但所讨的是‘蒋逆‘还是‘李逆‘，却留下空白，其中所列的‘贪赃枉法，横征暴敛，屠杀民众，迫害青年‘等十大罪状，对蒋、李双方也都适用。他的用意十分清楚：如桂系失败，可令韩复榘、石友三直驱武汉，布告上就填写‘讨桂‘二字，先于蒋介石占领武汉，夺取湖北；如果蒋败，可令孙良诚出徐州，布告上就填写‘讨蒋‘二字，先于桂系进占南京。
冯玉祥态度不明朗，蒋介石有戒心，为了防止冯两面讨好，便公开发表了冯给他的电报，内有‘玉祥服从中央，始终一致‘等语。但是，冯对蒋仍是虚与委蛇，不肯明令讨桂。蒋桂战争进展之快出乎冯玉祥所料。4月5日，蒋军打败桂系兵抵武汉，冯玉祥见势不妙，急忙表态拥蒋，于4月8日发了个‘马后炮‘的讨桂通电，并派出代表同邵力子等赴武汉见蒋，以增进与蒋的关系，可是，已为时晚矣。
冯玉祥脚踏两只船，落得个两面不讨好。
蒋介石打败了桂系，拉拢冯玉祥已没有必要了，不但行政院长和两湖地盘的允诺不算数了，而且不允许山东省主席孙良诚于日军撤出后接收济南，决定以陈调元取代孙良诚，负责接收山东。特别是蒋借着韩复榘带兵南下的机会将韩召至汉口，对他进行了收买，为尔后韩、石倒冯投蒋伏下了张本。
蒋介石打败桂系之后，便把矛头转向了冯玉祥，5月7日发表《和平统一为国民政府唯一之希望》一文，内称‘欲消弭内乱，非铲除军阀不可；欲铲除军阀，非根本扑灭封建地盘思想不可‘，为发兵讨冯大造舆论。5月10日，冯玉祥致电蒋介石，指责蒋对第一、第二集团军发饷不公。5月13日，蒋介石复电说，第一、第二集团军发饷不一致，是由于第一集团军士兵向来生活水平较高，第二集团军士兵向来生活水平较低、习苦耐劳惯了，电报还含蓄地指责冯玉祥联合桂系违抗中央。
冯玉祥难以容忍蒋介石的步步紧逼，蒋冯战争已箭在弦上了。
冯玉祥看到同蒋介石的兵戎相见已不可避免，便采取措施，令韩复榘、石友三部从信阳、襄樊撤退，鲁、豫两省的部队向陕西撤退，并炸毁武胜关隧道，拆毁洛阳以东的铁轨。冯玉祥此举的意图是缩短战线、集中兵力，并阻断蒋方进兵之路，同时还可免除阎锡山抄袭后路之忧，以至迫使阎与己联合反蒋或取中立态度。
5月16日，蒋介石致电冯玉祥，责问为何炸隧道、毁铁轨。同一天，冯部将领刘郁芬等发出电报，内称：为护党救国，请冯率五十万武装同志，与蒋周旋。南京政府电令冯玉祥严惩刘郁芬等人，立刻恢复陇海路、平汉路交通，但冯玉祥不予理睬。
5月19日，冯玉祥在陕西华阴召开军事会议，列举了蒋的四大罪状：
一、党务方面，蒋氏私自圈定和指派国民党三全大会代表，违反党章；
二、日本占领济南，为我国奇耻大辱，经交涉，日本既定期撤兵，蒋竟反请缓期，丧权辱国，莫此为甚；
三、蒋对各军待遇不平等，并挑拨离间，拆散革命战线；
四、豫、陕、甘灾情严重。蒋氏不闻不问，反将丰台、保定、徐州等赈粮，悉数扣留，坐视并加速灾民饿死。
冯玉祥指出，根据这些罪状，对蒋不能不兴兵讨伐，但用兵如与人搏斗一样，直伸两臂。无法用力，必须弯回来再打出去，才能有劲。据此，他部署山东、河南的部队一律西撤，在潼关、华阴一带集结。
华阴会议后，遵照冯玉祥的战略计划和命令，孙良诚等率部迅速西撤，可是，冯玉祥的心腹将领韩复榘、石友三却叛冯投靠了蒋介石。
