一、挣扎
冯玉祥自就任陆军检阅使后，所部一师三混成旅三万余人驻扎南苑及通州一带，纪律严明，训练刻苦，成为一支颇受各方瞩目的重要武装力量。
然而在各系军阀的夹缝中生存并不容易，首先最头痛的事依然是军饷的问题。冯部自离开河南后，吴佩孚当初答应的每月由河南的协饷，便成了画饼。冯玉祥在北京、保定四处求告，一筹莫展。很明显，吴佩孚就是要从经济上扼杀这支部队。好在曹锟尚算忠厚，又有老长官张绍曾的帮忙，当时的大总统黎元洪也很想借助这支力量，好说歹说，从京绥铁路局和崇文门税关每月拼凑出十五万元，作为冯部的军饷。虽不能全额发放，总算将士无饥馁之忧了，冯玉祥也可以专心致志的练兵了。
在驻军南苑的近两年时间里，冯部官兵地实力又有了一个质的飞跃。他完善了一整套练兵方法，练就了三万精兵，为数十万强大的西北军打下基础。
由于南苑的旧营房不足，张之江一旅驻扎通州，二十二旅一个团驻北京城内旃檀寺。冯玉祥的陆军检阅使署驻南苑，以蒋鸿遇为参谋长（后改为刘骥），
1922年12月廿25日，总统黎元洪赴南苑阅兵，见全军军容之壮盛、步伐之整齐、精神之焕发、与技术之纯熟，在当时的北洋诸军中是首屈一指的。当操演敎练时，黎突然叫出一名目兵问道：“假定此时我军为攻军，已受敌人甚大损害，应如何处置？”兵答：“前进”。黎又问：“前进困难时怎么样？”答：“我困难敌也困难”。黎元洪很赞许，又说：“愈前进，则困难愈加，又怎样？”兵答：“最后五分钟。”黎氏为之折服，说：“最后五分钟，实胜败之所系。”普通目兵能做这样的答复，足见全军的教育程度。
南苑练兵的内容主要分学科和术科两大方面，按不同等级进行训练。
在学科方面，冯玉祥特别注重精神教育，包括爱国精神、舍己救人精神、为社会服务精神、刻苦耐劳精神等。他选编的书有《军人精神书》、《军人读本》、《军人宝鉴》等，这些书的主要内容是爱国的。士兵都要学《军人精神书》，这本书要求士兵必须具备三大精神，即爱国精神、道德精神、军人精神，如果没有这三大精神，就不配当一个军人。爱国精神，选择了介绍历代爱国军人、爱国人士如冯子才、林则徐的短篇文章，冯玉祥说他们打了胜仗，可是由于政府腐败反而签订了丧权辱国的条约。道德精神，是讲修身养性的，也收集了一些名家名言，如“人非圣贤，孰能无过，过而能改，复于无过”之类。军人精神，是讲应该怎样训练，怎样锻炼，怎样吃苦耐劳，怎样爱护老百姓等，保护商人也是其中的一条。他经常在对部队讲话中说：“老百姓是什么人？老百姓是你爹。老百姓为什么是你爹？因为你穿的老百姓的，你吃的老百姓的，你不爱老百姓行吗？”他日后凡送部下出国留学，临行前总要嘱咐：“你们要爱国救民到底”，“不要忘记不扰民，真爱民，誓死救国”。
冯玉祥在爱国教育方面下了很大的功夫。他主持绘制和印发了一种“国耻地图”，发给官兵每人一张，让大家经常带在身上，以备随时查阅。凡是被列强通过侵略战争或不平等条约抢去的中国领地，都在地图上用红色标明，并写上那一块块的领土是何年何月何日，通过哪些战争，根据什么条约，被哪个列强侵占的。官兵们从地图上看到祖国的周围，特别是北部，一片片被染上红色的地方，都已经被列强侵占；那像秋海棠叶似的祖国版图上，一片片大好河山，一块块肥田沃土，一座座森林矿藏，被列强们蚕食鲸吞，感到非常痛心。他们由此知道了英法联军攻占了天津、北京，火烧圆明园；八国联军屠杀父老兄弟；日本人发动了甲午战争，俄国人霸占旅顺等，从而激起了内心强烈的民族仇恨和爱国心。
冯军部队里，一天二十四小时中除了睡觉，到处是歌声。起床要唱，走路要唱，饭前要唱，休息更要唱，睡觉前还要唱。这些歌有几类性质，有讲军队纪律的，有讲射击的，有讲团结的等。坐船有坐船的歌，坐火车有坐火车的歌，有什么行动就编什么歌。如经常唱的“战斗歌”：“一散开在一条线上，不要出前落后，妨碍射击”，说的是要有战斗队形；“军歌”：“高丽国、琉球岛与台湾，地不小，可怜都被它侵吞了”，这是控诉日本侵略罪行的，唱起来无形中就会激起为国家所受的耻辱而悲愤的感情，还有的说外国人看中国人是一盘散沙，把中国当做桌子上的一盘肉，抢着吃，“盘中餐，外人伺”；吃饭歌有好几个，如：“盘中粒粒皆是辛苦，民脂民膏来之不易”；爱民的“要爱护老百姓，爱护禾苗”；此外还有“植树歌”，部队在哪里驻防，就一定要种树。
总之，冯玉祥采取了种种办法对官兵进行精神教育，每个士兵的床头贴着志愿书，有六条的，有八条的，如爱国的，勤学的，每天对照检查做得怎么样。部队中有很多是河南兵，家乡人传开了，说：“冯玉祥的军队不得了，当过三年兵以后，土匪也变成大姑娘了。”这是因为冯军士兵走路时目不斜视，对群众不干扰，不进民房，也识字了，有文化了，不那么粗野了。
官佐所学内容有：正副目学《军人教科书》、《八百字课本》、《各种兵教科书》、《简明军纪》、《军人教育》、《军歌》、《军士战术》、《军事勤务》等。初级军官所学的内容增加《初级战术》、《军人宝鉴》、《军人读本》、《典范令》、《曾胡治兵语录》、《左传摘要》等。中级军官所学的内容增加《高级战术》（聘请法、日教官讲授）、《兵器学》、《欧洲战史》、《国文》、《易经》及《子书》一两种。
在术科方面，主要的训练项目是：刺枪、劈刀、器械体操、应用体操、八道拦阻、沟垒比赛、挖掘起伏地等项。其中特别重视体力锻炼、射击训练和夜战训练。
冯玉祥练兵亲自督练，从不懈怠。每次出操前，他要求士兵端“枪架子”，练臂力，练瞄准，营房里处处设有人头靶，供士兵随时练习。他亲自编写了《战斗射击歌》：“射击瞄准最为先，第一须知省子弹，一颗千金买不来，生死安危在一弹。瞄得不准万不发，发时必中一当千。枪不虚发好男子，千万千万莫等闲。战时全凭子弹胜，虽有子弹输送难，多少能战之军队，皆因乱放大败还。一弹须当性命看，保身保国保安全，枪不虚发好名誉，千万千万莫等闲。”官兵时时唱，练出不少神枪手。为适应夜战，士兵一入伍就要先学会识星辰辨方向，还要熟练夜间集合的动作要领，就寝前衣物和装备按规定摆放，紧急集合时穿戴服装、佩带装备也有一定秩序。他认为夜间战斗是对装备较好的敌人作战的重要手段。他要求班、排、连都进行刺枪、劈刀的练习。每个士兵都有一把特制的中国大刀片，背在身上寒光闪闪，刀把上的红绸迎风飘动，显得格外威风。冯玉祥还教士兵光着膀子演练冲锋、肉搏。尤其强调注重耐热、耐寒、耐风雪等适应恶劣自然环境的训练，常在冬季大风雪或酷夏暴雨时举行全军行军、战斗演习。当时其他很多军阀部队，一出动就要祸害老百姓，闹得鸡犬不宁，这种情况在冯玉祥的部队里从来没有发生过。一次严冬天气野营训练，风非常大，气温极低，演习部队冻死六个人，冯玉祥马上下令停止演习，统统回营。途经宛平县休息时，在这样恶劣的条件下，部队仍然“不扰民”，不进民房。饭盒里的大米饭和咸菜都冻得硬邦邦的没法吃，又冷又饿，也没人到民家找口热水喝。还有一次也是最冷的天气，举行全军夜间挖战壕比赛，土冻半尺，不准用火烤，只能用大铁杠子一寸一寸地凿。部队干了一夜加半个白天，才完成了各自划分的地段，数百人受伤。事后总结时，有的长官说：“这次比赛的激烈程度，真不亚于实际战斗呀！”冯玉祥说：“军队如果不养成耐寒的精神，没有吃苦的锻炼，没有硬地挖战壕的本领，一旦对敌作战，遇到恶劣的天气和环境，怎么能顶得住？顶不住，怎么能进攻？不进攻，怎么能打胜仗？”
冯军素有“静似泰山，动如奔潮”之誉，完全是苦练出来的。周恩来曾评价冯玉祥说：“先生善练兵，至今谈兵的人多推崇先生。”
体育运动方面，冯玉祥要求官兵们练单杠、木马、打拳、跳高、跳远，特别是单杠，要求每个人必须学会“屈身上”、“摇动转回”、“倒立”等动作，还要官兵学会游泳。通过这些训练，提高官兵的身体素质，锻炼他们的意志和耐力。有时，他让部队全副武装，携带武器、弹药、背包、水壶、饭盒等全套装备，进行逾越障碍竞赛。
冯玉祥爱兵如子，每逢作战，常和士兵一起蹲在战壕里，施工的时候，总和士兵一起挖土推车，在生活上也是十分关怀。一次他睡在兵棚，第二天全棚去出操，他就检查士兵的笔记和武器，然后和大家一起吃饭，吃到最后一口时吃到一颗砂粒，顿时大发雷霆，立刻把管伙食的三排长叫来，罚他跪在地上，当着大家的面训道：“当兵的就是你爹，你就叫你爹吃砂子？你的良心哪里去了？”走后一个多小时，才让这位排长站起来。他还对官长强调训练军队要从重视病人做起，怎么样让病人少？病了怎么治？吃中药还是吃西药？当长官的每天要挨个去看过，不论病轻病重都要一一记上，如果自己去不了，也要派最重要的人去，回来亲自看他记下来的病情，然后签上字。他说一个士兵离开父母，背井离乡，孤身在外，最感痛苦的就是有病的时候，我们是他们的长官，我们不去留心他，谁去留心呢？
也是在这一年，冯玉祥在书法练习、英语学习方面进步很大，尤其是在读书方面收获颇丰，可以说是古今中外博览群书。他还特别聘请专家学者为他讲学授课。如请沙明远讲授《易经》、《书经》、《左传》、《群书治要》、《我师录》；请王瑚讲授《孙子兵法》、《大学》等。
调任陆军检阅使时，冯玉祥41岁。1923年，他在治军和学习两方面都有重大的收获，但在个人生活上又极为不幸，相随他20年的妻子刘德贞因病逝世了，冯玉祥伤心恸哭，全军为她举哀，各官佐目兵分班致祭，遗体在京按基督教礼仪入殓，灵柩运回保定冯家墓地安葬。刘夫人一生勤劳朴素，自操家务，直到现在冯玉祥就任陆军检阅使的高位，她还是布衣布褂，自己跑街买东西，没有一点官太太的架子，不知情的人，还以为她是家里的女佣人呢！她在军中很受爱戴，经常慰问部队，对官佐家属极为关怀，大家都以贤姐称呼她。她倡办了培德女中，使妇女有受教育的机会。当时军人的鞋子都由家属做，每人都有定额，刘夫人和大家一样需按时完成自己的那一份，没有一点特殊。
刘夫人留下了儿子洪国、****，女儿弗能、弗伐、弗矜。小的才只有几岁。
他丧妻后，各个方面的实力人物都想以联亲来拉拢他为盟友，说媒的人纷至沓来，连曹锟也有意将自己的女儿嫁给他，派副官来提亲，但是冯玉祥不愿意。为了能推掉这门亲事，他提出了条件：一、不许穿绫罗绸缎，吃山珍海味。二、要能纺纱织布。三、要抚养我的几个孩子。这门婚事当然是告吹了。
冯玉祥的第二次婚姻是在刘夫人去世后的次年。关于他娶李德全为妻的故事，有多种传说。实际上他们是由李德全的亲戚唐悦良夫妇撮合的。唐悦良的夫人李淑成和李德全是堂姐妹，俩人的父亲是亲哥俩。唐家人都是基督徒，冯玉祥任陆军检阅使驻防北京时，常去做礼拜，互相结识，有时去他家串门。有一次冯玉祥当笑话说起曹锟提亲之事，说话者无心，听话者有意。事后有一天，唐悦良夫妇约冯玉祥去基督教女青年会参加一次演讲会，女青年会学生部干事李德全也在会上讲了话，她圆圆的脸盘上戴一副黑边眼镜，笑容明快，口才出众，冯玉祥顿生好感。经唐家搭桥，以后去通州李德全家里交往接触多次，了解到她的家境贫寒，父亲早年从蒙古来到北京，为谋生扛过活儿，很合乎他的择偶条件，便请唐悦良夫妇出面做媒，这桩婚事就这样成了。
李德全1896年出生在北京郊区通州（今通州）德兴庄草房村一个贫苦农家，祖上是蒙古人，父亲是一个牧民，后离开草原逃到通州。那个时代外国人来中国传教的很多，他们深入各地农村，发展教徒，李家就信了基督教。李德全的祖母和叔叔就因为是教徒，在义和团时遇害殉道了。李德全刚出生三个月，父母就抱着她接受了洗礼。长大以后，在教会的资助下，上完了小学、中学，毕业于美国教会开办的“贝满女中”，后来又曾回到母校任教。中学毕业后考入私立的汇文女子大学（即燕京大学前身的一部分）。她在学校非常活跃，担任学生会会长，热心宗教工作，极富爱国心。第一次世界大战结束后，她听说外国人在巴黎讲“中国人不值两毛五”的话，非常气愤，就和同学们写了大幅抗议书：“中国不值两毛五，全中国四万五千万人，每人值0。0000000005！”并把这幅抗议书放到美国校长的办公桌上。李德全是20年代极少数受过高等教育的妇女之一，这样的知识妇女那时追求男女平等，要独立自主地干一番事业，多喜独身，所以当她已是29岁的老姑娘了还没有出嫁，直到遇到了冯玉祥，她一生的命运就此发生了传奇性的变化，日后成为中国著名的社会活动家。
1924年2月9日，冯玉祥和李德全订婚，交换婚约，同月19日在南苑驻地由牧师刘芳主持，按基督教仪式举行了简朴的婚礼。婚后新娘问丈夫：“你怎么会看上我？”回答是：“我看你天真烂漫！”
在南苑，为悼念阵亡官兵，冯玉祥在南苑修建了昭忠祠，埋葬亡者的骸骨。每年派人前去慰问遗属，酌情给予照顾，有适龄入学的子女，就带回北京送进子弟学校。对残废官兵，以各种方法安慰救济，历年战阵受伤的官兵，都有详细的光荣记录。他以为，中国的道理“死为大”，要是埋在哪里我们都不知道，死者如此，生者怎么想？
官佐家凡有婚丧事时，他规定只许上级官对下级官送礼，下级官兵都不准送礼，这在当时的军队中是绝无仅有的事，人都不能理解。他的一个军中朋友对他说：“我在军队里看到的惯例，是只有下级对上级送礼，谁的礼品办的贵重，长官就喜欢谁，到后说话就特别有效，官也升得快。所以大家都要在送礼上面用心。送一次礼，典卖借贷都在所不惜。因为这是下的本钱，升官之后那是一本万利的。下级官对上级官送礼，有这个讲究。你们这个规矩是为什么呢？”
就是因为冯玉祥做事常有些地方不合时宜，所以招来人在背后骂他是“活妖怪”，他也知道别人这么骂他，并不以为然，照样我行我素。
驻兵南苑期间，冯玉祥各种社会活动不少，和各使馆人员时有接触。一次高级教导团招待日本人，布置会场时，冯玉祥叫把万国旗里的日本旗拿掉，日本人到时，其中有人注意到这一现象，询问怎么唯独没有本国旗？冯玉祥说我们办事的人跑遍了街上也买不到日本旗，大概是因为贵国对中国的二十一条的原因，老百姓有抵触情绪不卖日本旗子。他对在场的小幡公使说应该电告日本政府反省。
官场的铺张浪费、乌烟瘴气，让他气闷。经常是按时去赴宴，宾主都迟迟不到场。他不耐烦等，自己叫碗面条或吃几个包子，撂下张名片就走了。他接触北京场面上的大人物，更看清了他们的嘴脸，一到聚在一起，嘻嘻哈哈谈的就是昨晚打牌输赢了多少，明晚有什么好戏，谁家姨太太漂亮，哪里又有官地要卖，就是没有谈论国计民生的。有一次总统黎元洪召集例会会餐，吃谈间他忽然发起了牢骚，说这总统真不是人干的，总赔钱，每年得赔上36万，连煤矿股票和盐票的利息都赔进去了，长此下去不能支持了。众人听了都恭维他仁义忠厚，唯独冯玉祥脱口而出说：“总统是当旅长出身的，怎么会有这么多的钱呢？”黎总统说：“存的呀！”冯玉祥刨根问底又说：“旅长的饷每月不过几百两银子，怎么会存那么多呢？”黎元洪无以作答，打个哈哈一笑了之。
一次永定河在丰台西南决口，北京永定门一带的居民惊惶失措，冯玉祥听说后，立刻派鹿钟麟率两旅人前往连夜抢修，费尽力气终于把决口堵住了。为了不遗后患，冯玉祥又决定要加宽加深河道，根治永定河。工程必须赶在春天水涨以前完工，一团一团的人开上去，五天一倒班，在风狂沙暴的天气里施工，苦干了几个月才完成，冯军得到老百姓极大的尊敬和好感。
但是冯玉祥为谋求自存，不得不进一步投靠直系曹锟，并在1923年6月13日事件中为驱逐黎元洪出力，此后，又助曹收买议员，为贿选铺路。为此，他遭到舆论界的谴责及进步人士的批评，声名大损。国会刘景晨、杭幸斋、沈椿年、张世桢等14名议员，向国会提出查办冯玉祥、王怀庆的议案，斥责二人拥曹的行径，“以为旧总统一走，即让新总统一举继位”。旅宁学生团体致电冯玉祥称，“惟年来闻公政绩，未尝不引为军阀中之优秀者，满冀公始终自爱……乃自公入京以来，一切措施，渐失众望……不意此次曹欲攫领袖，迫走元首，都门鼎沸，举国震惊，中外报纸，皆指公为曹氏之功臣，新华门逼宫一剧，在公固已尽职，不愧为曹氏之一走狗……军人之模范，更如是乎？呜呼，公其休九江旅矣！”沪同乡会通电云“当视曹锟、张绍曾、冯玉祥……等为祸国罪魁，即为人民公敌，一致声讨”
冯玉祥的“教友”，国民党的左派人物徐谦，在黎元洪离京的第二天发“盐”电警告他说：“黎已出走，兄若拥曹，即为司马昭之成济，千古唾骂，若任张代行，即系间接拥曹，亦难逃责之义，……如不见听拥曹，此后弟及与兄割席。”
上述批评对冯玉祥有巨大的震动和刺激。
冯玉祥在长期的宦海沉浮中，虽然处心积虑地维护个人及其军事集团的利益，但更看重自己的声誉。在此种况下，他在贿选之前退出助选活动，由此引起曹锟及其左右的不满。曹虽然一度有意让他出任热、察、绥三特区巡阅使兼北京卫戍司令，但因王怀庆的反对而作罢。此后，冯玉祥欲乘察、绥两都统变动时安插两个旅长，又为曹所拒绝。曹当上总统后，冯玉祥只得到个“扬威上将军”的虚名。此后，他虽然兼任“西北边防督办”，但仍没有实际地盘，因此对曹更加不满。他深知曹、吴直系已成为众矢之的，一味追随则前途渺茫，遂在全国人民反直声浪中，在左翼力量的推动下，开始另谋出路。
