（一）左路备补军
1912年初，袁世凯就任民国临时大总统，根据同南方议和的条件，需要到南京就职，就在这时候北京发生了兵变。第三镇统制曹锟在袁克定、段芝贵的授意下，策动本部官兵，以反对裁饷为名，挑起兵变，意在阻袁南下，并且威吓南方来的迎袁专使。然而兵变这东西可不是闹着玩儿的，跟玩儿火一样，结果一发不可收拾，最后弄得京师糜烂，国内外的影响极差，南下是阻止了，可损失太大了。经济上的先不说，就政治上的给人不少攻击袁世凯的口实，后人也有不少把这笔烂帐记在袁的头上。
兵变之后，袁世凯重新编练了一支部队，即五路（前后左右中）备补军。其中左路备补军统领为陆建章，他最赏识的人当然是冯玉祥了，于是委其为前营营长。使冯玉祥从革命的失败中走出来，重新开始全新的军旅生涯。从这时候起，冯玉祥不再用冯御香的名字，恢复“玉祥”二字。
冯玉祥受命后，先后赴直隶景县和河南郾城一带招兵，这是他一生建立自己队伍的开始，招募了五百余人，亲自带回北京，着手编练。成军之始，二十镇旧属来投效的有李鸣钟、张维玺、陈毓耀、韩复榘、谷良民、谷良友、许祥云等。应募入伍的有孙良诚、刘汝明、石友三、佟麟阁、吉鸿昌、过之纲、冯治安、韩占元、曹福林等。这批人后来都是冯军的骨干力量，成为风云一时的领兵大将。
冯玉祥根据自己十几年来从军的经验，其招兵很有一套独特的方式。他自定招兵的标准：只招收乡间质朴精壮的少年，而凡从前入伍当过兵的一概不要。（这与曾国藩新建湘军，只要农民相符。）他有非常巧妙的甄别方法：先叫投効者排列长队，他忽然大叫号令「立正」。凡当过兵的，无意中即行立正，他乃一一挑出淘汰了。
刚开始军饷、军械、给养，都不是很充分，但士兵们都是质朴的乡间少年，只要能吃饱饭，都还很安心。同时冯玉祥对待他们也如亲人一般，嘘寒问暖，关怀备至，因此其中的许多人也拿他当做亲人、长辈。有了这样一支队伍，冯玉祥很想训练出个样子来，但是其中的下级军官很多是达官显贵们保举而来，段芝贵的护兵就有好几个，素质很差，就是来混饭吃的。冯玉祥也没办法，只好隐忍。还好多数军官是不错的，能与其同甘共苦。
此间冯玉祥做的另一件事是他在军务之余，经常和李鸣钟、商震等骑着高头白马到亚斯立礼堂听讲道，他觉得基督教博爱救人的宗旨，和军人献身救国的精神很吻合，他又见教会中人都不准缠足、吸毒和饮酒嫖赌，家中男女小孩都读书识字，所有这些都令他由衷感佩，信仰之心，由此而生。他常以耶稣基督不怕牺牲的精神教育官兵，很有收效。所以一有机会便去听牧师宣讲基督精神。一九一七年圣诞节冯玉祥正式接受洗礼，皈依基督教，参加美以美会，这就是为什么他被人称为“基督将军”的来由。
部队编组完成，于是加紧训练。冯玉祥根据实战及士兵们的文化程度制定出很独特的一种训练方式。第一是关于官兵战斗动作方面，比如一个兵受伤，好几个兵抬送，一个官长受伤，几十个兵伺候，结果无形中减低了战斗力，影响全军作战。为免除这种不合理的情形，他特地分项编了个《战斗动作歌》，每天教给士兵念诵歌唱。过去训练的第二个缺点是射击军纪太坏，士兵不谙瞄准，胡乱放枪，空耗子弹，这也是一大弊端。为改正这种缺点，又编了个《射击军纪歌》，将射击的技术与原则详说一番。第三，官兵不知利用地形、地物，结果是目标大，伤亡因而也多。所以又斟酌地物要点，编了个《利用地物歌》。这三个歌儿用他从教堂听来的赞美诗的曲调，平和婉转，令官兵朝夕歌诵，每人都要记得烂熟，同时常常实地演习，以便作战时可以运用自如。同时还成立了三个讲堂：一个头目讲堂，一个官长讲堂，一个特别兵讲堂。另外成立了两个班：一个拳击技术班，一个器械体操班。在训练的期间，又编了一本八百字课，为新兵启蒙读物，每个字下边都注有浅显的解释，使他们一看即能领悟。
训练数月，冯玉祥营学、术两科都是全军之冠，他的练兵才能逐渐显现。而这一营就是后来数十万“西北军”的最早胚胎。
第二年（1913），左路备补军改编为京卫军，冯玉祥升任左翼第一团团长。他即亲赴河南郾城一带招募新兵。赵廷选、田金凯、吉鸿昌、梁冠英、程心明等，均是于此时入伍的。在这一时期，冯玉祥于军事武术、精神训练之外，特别注重军纪之训练。而且编了一首《爱百姓歌》教官兵传唱。因之所部驻扎之处，鸡犬不惊，秋毫无犯，人民爱戴，足称模范。
（二）剿白狼
1914年春，河南的巨匪白狼越闹越大，拥众万余人，屡败官军，张镇芳、赵倜因为剿办白狼不利受到袁世凯的数次申斥，甚至北洋大将段祺瑞亲自统兵围剿，也未见成效。此时，白狼军突入陕西，袁世凯乃任命陆建章为鄂豫陕剿匪督办，率部由北京南下入陕。袁世凯还有一层意思，就是借机将北洋势力伸进陕西。（真是枭雄所见略同，后来蒋介石就是借围堵红军之机次第消灭地方实力派。）
陆建章将京卫军扩编，冯玉祥任左翼第一旅兼第一团团长，不久京卫军改编为陆军第七师，冯部为第十四旅，下辖步兵两团。冯玉祥率第一团先行，直奔潼关，第二团团长何乃中随后跟进。
白狼军已经突破陕军防线，进入甘肃。冯玉祥率队追至泾川。不久白狼军突然从甘肃折回，并欲突袭西安。其时，陆建章正在省城，而追剿的大军都被白狼甩在陇东，西安兵力极其空虚，急电召冯部回师。冯玉祥以救兵如救火，率部赶回，昼夜不停，急行军三日两夜而抵西安，每日平均行二百余里，因得“飞行军”之誉。自此，他又知带兵疾行之重要。以后，其所建大军乃有急行军之训练，无论途径如何艰阻，必须以每日能行百二十至百八十里为度。
白狼不过是虚晃一枪，大军向南欲经子午谷在奔河南，恰好冯部第二团何乃中部在此设伏，白狼军归心似箭，激战一夜，折损千人，余部突围而去。由于何团士兵射击技术太差，消耗子弹二十万发，而收效甚小。
白狼一入河南就成了强弩之末，不久被毅军、镇嵩军等剿灭，身死。
1914年10月陆建章因为剿匪有功，升任陕西都督，冯玉祥部也改编为中央直辖陆军第十六混成旅。从此冯玉祥有了一个相对独立的自己的军事团体，并不断发展壮大，后来所统率之国民军、西北军、国民革命军第二集团军及中华民国陆军第二方面军等，其根苗固生长于京卫军左翼第一团，而其基础实树立于第十六混成旅。虽然其日后训练大军数十万人，但是一切军纪与精神均与十六混成旅相同，而全军将领也大都由此产生者。所以可以说十六混成旅是冯玉祥事业的真正发端。
部队改编之际，冯玉祥本人也晋升陆军少将，加封焕威将军，授予一等嘉禾勋章。十六混成旅的实力共有步兵两团、炮兵一营、骑兵一营、机关枪一连，每营三百多人，全旅五六千人。军械共有步枪千余支、山炮十八门。
冯玉祥根据他多年的实践经验和研究心得，已形成了一整套练兵方法用到了训练中。他认为，军队的好坏，在于教育，教育的优劣，在于长官。官长是士兵的表率，必须具有高尚的品行。而教育的施行在平时不在临时，贵精神不贵形式，治军最重要的是要得兵心。官兵之间既要有严格的要求，又要相互友爱。他强调一个“忍”字，比如作战，身在枪林弹雨之中，也许负伤了，但不产生退避怕死的念头，能在最后五分钟制敌于死命，这就是“忍”字的功效。他的这种思想，部分来源于元代名将铁木耳。一次战败，铁木耳躲藏树下，忽然看见一个蚂蚁叼着一粒米吃力地爬行，遇坑跌失，遇高坠落，这样的遭遇反复多次，始终不肯舍弃这粒米，最后成功地衔回了窝。他从这只小蚂蚁的坚忍精神受到激励，鼓起余勇取得了最后的胜利。所以冯玉祥说，人要是有这种坚忍之心，什么样的功不能立？他还订了一整套行之有效的练兵程序：一，我做给你看；二，你做给我看；三，讲评；四，我再做给你看；五，你再做给我看；六，讲评。
冯玉祥知道，军队的基础是士兵，所以他从士兵抓起。新兵入伍，他都要亲自检查，只要是右手食指有茧子的，他就不要，因为这说明这个人在别的部队当过兵，是兵油子，来当兵的他最喜欢的就是学生和农民。光年轻还不行，体格要好，也讲一定的仪表，太不像样的他也不收。新兵入伍以后，如果不识字，就要学文化。他亲自编写了《六百字课》，要求不管什么人，伙夫、马夫、士兵，每天每顿饭必须认识两个字，不认识就别吃饭。谁来教呢，连长、排长当先生，要学会讲、学会写，逐渐学会用，这样就可以看《军人精神书》了，不一定能完全看懂，但是可以看了。下一步再学《八百字课》，有了这一千四百字的基础，就可以给家写信了，也可以看他编的别的书了。空时他常向士兵讲话，以伦理道德及救国救民的道理谆谆教导。他对士兵的饮食、冷暖、起居亲自督查。有一次，他叫官兵全体坐在地上，脱掉鞋袜，他挨个检查脚丫子是否干净，有没有湿气。他还常常查看每个人的耳朵、指甲是不是干净，甚至有一次替士兵洗脚。官佐们议论说，这一下，这个士兵不但把他自己的命送给了冯玉祥，连他儿子的命也送了，因为这个士兵感激得会叫他的儿子也来报效的。有时，士兵家里来信要钱，他就往左边口袋里一摸，掏出二十块钱来，再在右边口袋里一摸，又掏出二十块钱来，交给士兵说：“我身上只有这点，你全拿了去吧！”走在路上遇见卖熟花生米的，问了多少钱一斤以后，他就全买下来，分给左右的士兵一起吃，所以士兵和他的感情非常亲密。
冯玉祥的部队和其他北洋陆军的部队一样，分为官、佐、目、兵、夫五种人，其中“兵”是战斗人员，又分为上等兵（正兵）、一等兵（副兵）、二等兵（候补兵）。副兵升正兵，要考六百字课，不会就升不了正兵；正兵升副目，要考八百字课，不熟也升不了；副目升正目，要能做好单杠屈身上，否则不能升；当排长要考摇动转回，升连长要考倒立，此外还要经过《军人精神书》、《军人读本》和《军人宝鉴》的考试，不会《军人读本》的人就当不了军官。连长以上的军官，光会指挥士兵还不行，还要懂得战术，会进行图上作业。所以在冯军里，当排长的都是学、术两科兼优的人，已经是个小知识分子了。副兵升正兵，正兵升副目、正目，是在团里考；升排长、连长，就由冯玉祥亲自考，非常严格。《军人读本》收集了古今中国著名文学家的作品，班超、岳飞一类的名人故事也有四十篇，要求军官每月熟读六篇，做到会背会讲，冯玉祥亲自检查，谁不会就要打板子，此外军官们还必须会背诵曾国藩和胡林翼的治兵语录，进行研讨。冯玉祥对官长的要求比士兵更严更高，他从来没有直接惩罚过目、兵、夫，即使发现他们中有不良现象，也总是归罪于主管长官而加以惩处。
冯玉祥认为要想建成劲旅，必须先从训练下级军官干部入手，全旅的干部，只要条件允许的都由他自己选配。他的另一项重要举措就是建立了模范连，从士兵中选出能识字的优秀分子百余人编成，以副官李鸣钟为连长，参谋长宋子扬、参谋刘郁芬、蒋鸿遇等为教官，教授学、术两科，以培养军士及初级军官。训练不久，便成绩斐然，在与第十五混成旅的演习战斗中一举夺魁。
（三）护国战争
不久四川发生兵变，为防范事变波及陕西，冯玉祥部奉命进驻陕南汉中，以监视四川。
四川督军胡景伊自兵变后，屡次请援于北京。袁世凯欲乘机将四川纳入北洋派的地盘，遂于1915年2月派心腹大将陈宧为川督。陈率中央第四混成旅伍祥祯部，第十三混成旅李炳之部沿长江西上入川。并令冯氏之第十六混成旅由汉中开驻川北。而此时陆建章正倚冯玉祥为股肱，颇不欲其离开陕南重镇，但又格于袁氏命令，不得已乃令其率第一团全部，炮兵一营，机关枪一连入川，余部仍暂驻陕南。其入川之队伍，分驻绵州一带。辛亥革命时期的老同事张之江于此时赶来投奔，任上尉参谋，后来成为冯玉祥的五虎上将之一。
此时袁世凯称帝的传闻在全国甚嚣尘上，冯玉祥是最为反对的。但是眼下自己的实力太弱，纵然有一些想法，也无法实施，只好再次隐忍。陆军总长王士珍领衔发出拥戴袁氏为皇帝之电，令全国旅长以上将官一致列名。陕督以此事征询冯玉祥的意思，冯则答以加入川方；及川督问他，又答以加入陕西。两边搪塞过，最后，这一条背叛民国的大逆名单竟无“冯玉祥”的名字。
这时的四川省土匪遍地，弄得商旅不通。秋天，陈宧下令在全省范围内清乡。冯部担任第五区，即嘉陵道属（保宁、顺庆、绥定三府）。四川民间袍哥（哥老会）势力强大，冯玉祥乃招抚了袍哥首领何鼎臣，以其为向导，因而顺利擒获巨匪郑老大、陈肇祥等，都依法处置。其中最引人注目的是枪决了青帮首领、著名土豪劣绅赖桂三，使地方上得到一时的安宁。数月下来，成绩全省第一，陈宦通令嘉奖，并赏金五万元。最后只剩下巨匪张振武，盘据老林场，为患地方，但是冯部赶到，他却只身逃亡。冯玉祥于是将其父扣押，要求其交待儿子的下落。张振武得到消息后，立即赶回来自首。冯玉祥被他的孝心打动，结果一并将父子二人释放，但张振武却不离开，非要投军报恩。并且说：“冯公是我再生父母，以后我必有以报答他。”后来在叙府一役，张振武果然奋不顾身，冲锋在前，最后竟阵亡疆场。
1915年12月12日，袁世凯正式称帝，25日，蔡锷、唐继尧等在云南通电全国，反对帝制，并宣告独立，成立护****。1916年1月，护****在蔡锷、李烈钧等率领下分路向四川、贵州、湖南、两广等地进兵，实行武力反袁，护国战争就此拉开序幕。袁世凯闻之云南独立的消息大为震怒，立即调兵遣将，派虎威上将军曹锟为征南军总司令，第一路军总司令马继增，率第六师、第二十师、第七混成旅，安徽安武军一部，进攻湘西；第二路军总司令张敬尧，率第三师第六旅、第七师、第八师等部入川。
蔡锷为护****第一军总司令，率刘云峰、赵又新、顾品珍三个梯团进攻四川。
此时的冯玉祥正在川北剿匪，接到陈宧的命令，要其南下协防泸州并与护****做战，十分踌躇。从他本心来说是不愿意与护****作战的，但是各处的电令急如星火，再三催促其开拔。以眼下的实力反对帝制，哪怕是拒绝执行命令，根本是行不通的，无奈之下只好尊令出发，开赴泸州。泸州有川军第二师刘存厚部驻扎，但据说该部有不稳迹象。
队伍出发之后冯玉祥密派蒋鸿遇持信去和蔡锷接触，因为蒋鸿遇曾在云南任职，与蔡锷很熟悉。他在信中表明对蔡锷正大光明的行动非常钦佩，不过自己的队伍势单力薄，身处重围，不能立刻有所动作，但必定竭力设法避免对战。最后表示“不久的将来，亦必寻求机会和您携手，共同担负起打倒帝制的任务”。蔡锷复信表示对冯玉祥的处境很了解，只要能共同合作，一切都不成问题，并且也希望冯部进驻泸州。
刚到泸州不久，冯玉祥就接到陈宧电报，说护****攻势甚猛，叙府已于1月22日失守，命他率部火速规复叙府，接着第四混成旅伍祥祯（时任川南镇守使）部的溃兵陆续撤到泸州附近。冯又接电要他收容伍祥祯部，并归他节制，反攻叙府。泸州由川军第一师周骏之熊祥生旅接防，同时第七师张敬尧部前锋已经抵达泸州。
冯玉祥不得已缓兵行进，又派蒋鸿遇去和护****师长刘云峰、参谋长张璧接洽，提出：第一，约定彼此不打，万不得已时只放朝天枪；第二，只要有机可乘，即通电表明态度；第三，说明北洋军队在后边紧逼，无法违抗命令；第四，交代已与蔡锷接洽的经过。但是对方挟新胜之威，提出冯玉祥只有两个办法：一是立刻通电讨袁，再是立刻缴械。
刘云峰的做法太不高明，严重挫伤了冯玉祥的自尊心，通电讨袁是绝路，而缴械就意味着投降，就算为了名誉、人格，只有一战了。
冯玉祥率部经南溪进至叙府郊外二十里的白沙场，与护****正式交火。冯玉祥练兵数年，也想借这个机会检验一下部队的实战能力，所以战事非常激烈，双方互有伤亡。护****为主义而战，人人争先；而冯玉祥只是应付差事，他对自己部队的表现非常满意，为了减少伤亡，开始寻机退出战场。正好这时泸州的刘存厚投入护****序列，宣布讨袁，于是冯玉祥借口腹背受敌，擅自下令撤退至富顺一带。
此时的陈宧也是首鼠两端，一方面对护****的义举内心支持；另一方面自己在四川的嫡系部队太弱小，不敢动作，再有袁世凯一直对他信任有加，从个人感情上一时也难下决心。
他这一撤立即遭到上至北京统率办事处，下至陈宧、曹锟、张敬尧等的各方交相责难。“该旅长进锐退速，是何居心？”冯玉祥派人送信给陈宧，详细说明撤退的理由。并明言本部名义上是一旅，实际不过两混成营，而且士兵不愿作战，军心无法维击。同时敦劝陈宧早日表明态度，毅然与护****合作，共挽大局。陈复电不置可否，只令冯部速开自流井，一切自有办法。而且将第四混成旅一团拨给冯部指挥，还有山炮六门，机关枪八挺及大量弹药给养。此时冯玉祥四周的北洋军越聚越多，无奈之下冯玉祥只有接受命令，开赴自流井。
这时战争的重点已经转移到泸州、纳溪方向，蔡锷与张敬尧展开殊死的拉锯战，由于护****兵力不足，乃将叙府的刘云峰部大部调往纳泸参战，只留下一个营守城。3月1日冯玉祥部未经激烈战斗占领叙府。袁世凯来电晋升冯玉祥为陆军中将，三等男爵，世袭一等轻车都尉，冯玉祥嗤之以鼻。
冯玉祥入城后，安抚百姓，恢复秩序。护****留下的伤兵和官眷百人，十分恐惧，冯玉祥派员调查，挨家发给大米，对伤员一一治疗，痊愈后各发十元、二十元不等，分遣原籍，人人感激。冯玉祥又一次致电陈宧，劝告他不要再和革命的护****打仗，而要反对袁世凯称帝，宣布********。陈宧举棋不定，又担心成都的安全，催令冯玉祥部速赴成都。冯玉祥就把叙州防务交给刘云峰部队接收，自己率兵北上成都。
和陈宧一见面，冯玉祥便向其痛陈是非利害，责以大义，苦劝其宣布独立，只有这样才有希望解决目前四川的混乱局面，并且能促使袁世凯下野。同时，张之江亦四出运动，约同四川各界士绅人等向陈要求宣布独立。陈宧的参谋长刘一清（字杏村，日本士官毕业，是后来冯玉祥的参谋长刘骥之兄，与冯氏友善，他们很早就开始互商倒袁之事）亦极力劝其独立，如此，内外合力，造成一个很浓厚的、很有力的反袁气氛与局面于成都。陈宧再也不能狐疑不决了。
其时，粤、湘、浙省已相继独立响应护****，而江苏督军冯国璋亦邀集未独立之各省代表会议于南京，表示反袁。袁不得已，请副总统黎元洪及徐世昌、段祺瑞等出面调和，拟先行停战，再商善后。全国政局如此，陈宧遂依冯之坚请，毅然决然于5月22日通电宣布独立。袁本以陈宧为心腹，将战略位置极为重要的四川托付给他，所以一接到********的电报，顿时觉得一生事业与野心完全绝望。阅电后大受打击，登时昏迷，患病日剧，至6月6日身死。陈宧的举动关系之大可以想见，而居中主持最力并以武力为陈后盾者则是冯玉祥。
袁世凯死后，黎元洪代理大总统，护国战争宣告结束。而四川大军云集，为争夺省政而欲大打出手，冯玉祥不欲卷入是非，乃率部队回陕。此时陕督陆建章已经被陈树藩驱逐，冯玉祥集合全旅屯兵汉中，进退失据之际，国务总理段祺瑞命他进驻廊坊一带，于是他又率部由汉中出发，到汉口上火车，北归河北廊坊。
