三、从士兵到管带
光绪二十八年三月二十日，冯玉祥正式充当了袁世凯卫队第三营左队左哨六棚正兵。他在淮军虽是教习，但到了武卫右军只有从士兵做起，不论你从前的资格。的军饷是每月四两八钱，比起淮军已是优厚多了，而且军官的素质普遍比一般军队高出不少，训练也很像样子。于是冯玉祥刻苦奋斗比前更为努力，因为他知道现在正是自己的前途之成败利钝与一生之事业夯牢基础的时候。每日清晨，他比别人起得早些，自己外出练习脚步，踝缠纱带，疾行十五里。回到营中，同营的人多未起床，自己又将步枪领出联系操法。一有空闲，仍旧努力读书，同棚的兵士讨厌他嘈吵，他也不管，只是自走自路而已。
新军的编制，每棚十四人，伙夫、长丁各一，共十六人，有正副目（班长）各一人以统率。冯玉祥初入营时的正目是很好的，识字虽不多，但彬彬有礼，和气待人，令他很心安。惟有那副目，却和正目相反，恶习无一不染，尤好打人骂人。每棚的伙食都是独立的，账目系由副目经理。有一次，同棚有一姓柴的士兵其弟弟来营看哥哥，没有路费回去，全棚弟兄仗义疏财，愿提出伙食赢余来资助他，但那副目不肯从众议将公款拿出，反开口骂人，不料他一夜赌博，把所有的伙食钱都输光了。翌晨吃饭，全棚没有菜吃，兵士们问他，又遭其大骂。冯玉祥此时入伍还未久，但义愤填胸，怒火中烧，挥拳将其痛打一顿，全棚称快。后来长官来了，问明情由，不特不责其滋事，竟重罚那副目，才算完事。冯玉祥一生好打不平的个性，这时开始显露。
八月中旬，荣膺直隶总督兼北洋大臣的袁世凯将总督衙门移到天津，队伍也随着同去。计共去右翼第二营，第三营的左右两队，陆炮山炮两队，骑兵一队。队伍开到距天津二三十里的地方，外国人即出来干涉，不许开进，理由是《辛丑条约》内曾规定天津二十里以内不准中国驻兵。经此阻止，前头部队即行折回。其时已到了杨柳青只好奉令向独流镇撤退。《辛丑条约》中有不准中国在天津驻兵条文，百姓不用说固然不知道，就是袁世凯怕也不见得清楚，不然，这次也不会冒冒失失地调令军队望这里开了。后来右翼第二营换上警察的服装，仍携带原来的枪械，才准开入。这是庚子之役后，冯玉祥所亲身忍受的最大的一件侮辱与刺激。
不久队伍开到杨柳青，袁世凯派了人来挑选小队子（即亲兵）。冯玉祥营的哨官竟把他藏了起来，使他参加挑选的权利被剥夺了。那时充当一名小队子，饷银每月十两八。一个普通兵每月才四两八，相差一倍还多。这事让冯玉祥万分不高兴，因为那时他一心一意只想多挣几两银子，经济宽裕一点儿，可以把父亲接回来同住。结果，同伴中比他个儿矮的也被挑走了。冯玉祥当时羡慕的要死，对长官也恨得要死。直到很久之后他才知道这是误会。原来官长们觉得全营里要算冯玉祥最为用功，身体、武艺、技能等也都是名列前茅，于是有意提拔他。当时部队驻在杨柳青，租住着民房，大家都在地上打草铺。冯玉祥要读书练字，特意买了一只箱子，坐在地铺上，就用箱子当做桌子，每天利用余暇，埋头读书写字，进步很快。营中的功课，最注重野地实习，经常分成小队，练习猝然遇敌的战法。每天操演的阵势，官长的说明，教训，回来冯玉祥都统统记下来，自己又加以研究，得益匪浅。管带和哨官看见他努力的情形，又知道他能喊操，就暗中特别看重。有时叫他喊一哨的操，有时喊三哨的操，有时全队的人，都交给他喊。
几个月的刻苦奋斗，终于体现了它的价值。是年十一月，他即升任头棚的副目。这是冯氏第一次所受的正式军职。受任之后，自然得大鼓舞，操练更勤，攻读更苦了。升任副目是很不容易的，因为每哨共计六棚，每棚十二人，合计要在七十二个正兵中挑选一个副目。冯玉祥升为副目，头棚里的士兵都很不高兴。因为他是六棚中入伍不久的新兵。他们认为冯玉祥经历太浅，没有资格当头目。尤其是本棚正目，更加与他为难。
但是冯玉祥的品行正直，为人侠义，渐渐为士兵们接受，只是正目还不时寻衅。正巧这时棚中有陈、刘两士兵，害了伤寒重病，十分危险。医生已宣告绝望了，甚至市上商民都预备其必死无疑。同棚的人全体──连那正目──都讨厌那两个病人，更恐怕传染，打算把二人遗弃。但冯玉祥动了恻隐之心，本着博爱互助的精神，担起道德的责任，自己把那两人另外安置于一间小屋，昼夜服侍他们──煎药、看护、侍候，无微不至。他实是冒着大险来救人！过了两月，这两个无望的病人竟出人意外的霍然而愈。正目──姓丁的，浑号叫“老猪精”──不明道理、不达人情，对于部下尤为刻薄。论起职守来，本应他照顾病兵的，岂知他不但弃之不理，还要说舍己救人的冯副目的不是，更当着他面痛骂侮辱那两病兵。冯玉祥在看护期间屡次劝谏他尽职守、重义气，完全无效。于是头脑一热，又不禁义愤填胸，把姓丁的暴打一顿，以消两病兵及自己满腔不平之气。哨官知道了，问明原委，也说“打得好”。及至两人病愈之后，自然感激冯氏再生之德，称其为救命恩人，而全棚人等，自那正目以下，至此也真心佩服他了。
翌年（光绪廿九年──一九○三）四月，冯玉祥升任四棚正目。当初他被委为头棚副目时，全体士兵拒而不纳。而等到升调到四棚时，全棚却下跪挽留。弄得哨官也责备他们前倨后恭，拒绝了他们的请求。这次升迁使他奋斗上进的志愿又有进一步的成功了，因此操练更加勤奋，读书也愈加努力，每考试皆获第一名，因故得保六品军功。不料官长误报其名为“冯御香”，此后遂沿用此二字，至民国元年始恢复“玉祥”原名。
当了正目七个月，以成绩优异，冯玉祥于是年十二月又得擢升为左哨哨长。当时哨官祁某，不讲情理，苛待兵士，全体士兵都不喜欢他。有一天，冯玉祥带队到操场练劈刀。当时规矩，队伍都归哨长和教练官训练。这天，祁某忽然高兴起来，自己要喊口令。兵士们稍有不合，便谩骂痛斥，致令人人心寒，个个不服。冯玉祥气愤不平，上前苦劝，不料那哨官不惟不听，反动刀要砍人。冯玉祥愈为愤激，不顾利害，也毫不客气的拔刀相向，吓得老祁弃刀飞奔，他挥刀猛追，绕操场一周。祁某急跑到统领那里告状。统领传冯玉祥去审问，乃以实报告。统领也以祁某为不是，不过说冯不应拔刀砍他。结果：两人都捱了四十军棍。
光绪三十一年(一九○五)，武卫右军奉令开往南苑驻防，改编为陆军第六镇。原来第三营的中左右三哨，改成第六镇第二十四标第三营前左两队。冯玉祥由哨长改任司务长。
改编以后，一切都采用新式军制，因此军中颇有一番新气象。第六镇统制是段祺瑞，协统十一协是陆建章，十二协是何宗廉，二十四标标统是王化东。此人文武兼长，为人态度诚恳，勤于训练，这算是冯玉祥从军以来第一次遇着的好长官。
是年七月十三日，冯玉祥升任第三营后队排长。
在他刚刚升任排长不久的一天，“两宫”（慈禧与光绪）到万寿山巡游。第六镇二十四标奉命在路上警戒。威武的行列走出西直门不远，不曾想有一个喊冤的百姓，因为不能接近，化装了卫队的样子，戴着红缨帽，混了进来，等到两宫驾到，就冲到轿子前面大声喊冤。慈禧太后吃了一惊，几乎从轿子里冲出来。于是太后大发威风，立刻下谕把当事的队官撤职，标统和管带的顶带摘去，段祺瑞也记了一次大过。这样一来，队官降为排长，各方纷纷保荐人去补这个缺。因为保荐的人太多了，无法决定取舍，乃举行考选，以昭公允。
这次考选，有四标十二营，共计四十八队，每队派一位排长参加。结果冯玉祥考取了第一名，在众人的嫉恨与羡慕之下，升为二十四标第二营后队队官。
这时，冯玉祥精神最畅快、最喜欢的事，不是连续升官，不是多得饷银，却是因为升了官，加了薪，而数年来含辛茹苦迎养老父的孝心竟得实现了。先是，冯有茂回原籍巢县休养，至光绪廿九年（一九○三），冯玉祥的兄长冯基道已在山东谋得一个税局差事，乃迎养老父到马厂与家人团聚。到了这年九月，冯玉祥乃迎其到南苑亲为奉养。
然而不幸的是冯有茂在冯玉祥刚刚当上队官这年的十二月十五日病殁于南苑。菽水承欢，为期虽不久，但那为父的已看见爱子克绍箕裘，且恢张前绪，可以瞑目，而为子者以壮志得达，孝心已尽，也可以自慰了。当冯有茂病笃时，冯玉祥亲奉汤药，昼夜侍养。同营的老弟兄，于多年以后仍称道其孝行不已。及丁父忧，他悲哀至甚，头发留长不剃（其时当然仍有辫子）。有劝其节哀剃发者，则怒目答曰：“你的老子死了，你怎么样呢？”丧事办完，灵柩暂停离南苑二里的海子潘家庙。那时南苑围墙内不许停厝棺柩，因此隔了两个月，又将灵柩运往保定府，安葬到安徽义地里。直到多年后，他任陆军巡阅使，仍驻南苑，乃与兄迁葬其父，建立丰碑于墓道，请王瑚撰文，王寿彭书丹，柯劭忞篆额。这也是克尽中国传统伦理之孝道的。
附录：冯公墓道碑志全文如下（原文称“郁亭”）：（标点新加）
清故武功将军副将衔补用参将冯公郁亭墓道碑志
定县王瑚撰文潍县王寿彭书丹胶县柯劭忞篆额
人才与时消息，家国代为始终，而山川郁积之气，又必有所因以发之。巢邑据湖山之胜，自明初讫于清李，以武功起家者，父子兄弟，接踵比肩，不可胜纪也。最后乃钟其奇于冯氏。如雨膏、松亭二公，皆建殊勋，膺显秩，而享年或不永，岂数之存乎其中耶？公于族辈长于二公，而从军稍后；虽以功历荐至显官，而所任不过微差末职，禄不足以供朝夕，几至父子不能保，闻者伤之。然今扬武上将军冯公玉祥，公之胤也。以文武之资，创造共和，治军为全国模范，民胥赖以安，名扬中外，其大要以艰苦独立，尚俭博爱为主，至实不忘乎公之教。开国承家，善始者又即其所以善述者已。公之上世有钦公者，自句容迁至巢县。传二十世而至公。公讳有茂，字郁亭。早丧父，事母以孝闻。待兄弟敦睦无间。家贫，初业扝。计所获值奉母给弟，有余辄施于族邻之无告者。以故，乡人益称之。粤之乱，尝奉母携幼妹避难。前阻横溪，不得渡。后贼且大至，乃急寻得大木盆载母与妹，身自扶翼，浮水以济。时，岸上有二女求救。公告母，复返渡之，得免。嗣女父母亦至感其义。乱稍定，浼人来议婚。公闻知为前所渡女，慨然曰：「济人之急，义也。以此得婚，人其谓我何？」固辞之。由是义声闻远近。时。公犹未冠也。旋就佣于邑绅某氏家。某家夙业武，设塾延师以教昆季。公佣毕，即入塾引弓习射，发必中。其它武术，习之无不如式。师大奇之，为言于绅，使与其昆季同受业焉。同治七年，应试。安徽提学朱公拔冠其曹。洪杨乱起，公屡率乡勇御贼，获捷。时，雨膏公以淮军宿将，官至提督，素号知人。奇公勇，劝入伍。转战山东、湖北、江苏各省。所至民皆安堵。赣榆一役，战毙逆首，厥功尤伟。以异常晋保千总。是为公入官之始。后从铭军征新疆。至行甘肃界，粮绝。公乃严束兵士，所过不得有纤芥扰。自为购芋充食。如是八日，无敢怨者。金积堡之役，公先冒矢石，人或称其勇。公笑曰：「非乐杀人也，止妄杀也，禁扰民也。」闻者莫不畏服。前后二十余年，累功保加副将衔，以参将尽先保用。名则贵显矣。然公自同治十年，始受委为铭军哨长。嗣经叠次改委，均未晋级。迄光绪二十三年，乃升充保定练军哨官，暨派充本营副办事务。而为时又未久，岂天故以此扼公，将留以有待耶？
抑吾尝闻诸父老云，公于光绪五年来吾直省，分防京南、良乡、定兴、安肃各县，暨窦店、琉璃河各市镇。所在，地方安谧，盗畏民怀。在窦店时，值度岁。公犒赏兵丁外，囊中仅余两钱。方窘迫间，忽有馈钱八缗余者。惊问故，乃欲开赌场，循例致馈者也。公怒曰：「吾惟不爱钱，故穷。岂反受此不正之赂，纵赌害民耶？」其人惭去。而赌风由此遂绝。夙以诚笃为大府所倚重。光绪十八年，奉委督修永定河南段七大工程。先是，屡修屡溃。公来，誓众曰：「苟再溃吾无颜见上官，惟以身殉耳。」及将合龙，势岌岌且殆。公果跃身入水。急救得不死，而功立就。至今固安、永清、安次，各邑绅耆，类能道之。岁甲午，监修海口炮台，乃倡修唐官屯至小站河道，增闸口数处。工作兼用兵力。利兴而民不扰，其能御灾捍患，功德在民又如此。
公去官，即回籍扫墓。以乏资不能携妻子。临行至河干，父子对泣竟日，乃别。后以次子初入军官，迎养至北京之南苑。光绪三十一年十二月十五日卒，享年六十。德配济宁游氏。勤俭有家法，孝慈温惠，亲族无闲言。岁辛卯，先公卒。子二人，长基道，陆军少将，现供差京绥铁路警务处长。次玉祥，扬武上将军、陆军上将，历任陜西、河南督军，今陆军检阅使、西北边防督办、兼第十一师师长。孙四人：宏业、读书兼习家事；宏儒、中殇；宏国、肄业天津南开学校；宏志、幼读。曾孙二人，俱幼。民国十一年，建新阡于保定城外之西北隅，与德配合葬焉。
铭曰：
在昔毕公。惟文之昭。赫赫冯氏，乃毕之苗。自周历汉。大树风标。百世千禩。相宅于巢。谁其始之。祖曰钦公。传世二十。诞降元戎。公少贫贱。天牖其衷。生多才艺。习射泮宫。从军转战。叠奏奇功。甘瓜苦蒂。禄薄官崇。公之盛德。惟仁以孝。济急扶老。后裔则效。公之治军。法严令明。秋毫不犯。妇孺知名。己卯之岁。来我邦畿。民怀公德。兵畏公威。暮夜却金。克迪前徽。惟公数奇。克有令子。文武兼资。二难并美。险阻备尝。惟公是似。吁嗟乎！公之勋兮宜在史。公之行兮宜为诛。勒铭表阡孜厥系。行道之人且陨涕。垂裕后昆兮承于世。
中华民国十三年月日
冯玉祥所部的协统陆建章对这个勤奋好学的属下很欣赏，于是托标统王化东为媒，将夫人刘氏的侄女刘德贞许配给冯玉祥，并时时提携。陆建章是其一生第一位知己，而今更成为亲戚，以后两人关系日益深密了。
光绪三十三年（一九○七），袁世凯的亲信人物徐世昌膺任东三省总督，调一部新军赴任。随徐开赴奉天的队伍，计有第三镇一镇和第一、第二混成协。第三镇统制曹锟，第二混成协协统王汝贤，第一混成协协统是王化东。——这第一混成协，原由驻山东的第五镇和第六镇，各提一标合编而成。这时候冯玉祥调充三营后队督队官，驻新民府黑山县，其余的则分驻奉天北大营等处。新军除了训练之外，也协同地方剿匪。在这里冯玉祥干了一件惊人的事。那时，该处土匪甚多，为患不浅。而当地驻防军队大多通匪，使得土匪更肆无忌惮。恰好冯玉祥奉令到该处剿匪，很快便抓获大批土匪人马枪械，并擒贼首孙某。孙原是一名官军把总，乃张作霖（时已投顺任统领）的盟弟，但奸淫掳掠，无恶不作。当地人民恨之入骨，控案累累。今一旦被获，人心大快，但是因为其羽翼甚众，神通广大，人民又担心其不能得到惩罚，逃脱法网，则为害更甚，因此对此案都特别重视与关心。冯玉祥奉令对土匪要严办，同时在众目睽暌之下，所以特别慎重。他一方面呈报协统王化东，一方面自己先行提讯。审问时，孙自认是把总，职位与队官相符，坚不肯跪，而且强词诡辩──既承认抢人钱财，架人妇女，但又不承认是犯法，且谓张作霖劫财绑票比他尤为厉害，而不过花洋三万元居然可当统领，则彼又何罪云云。冯玉祥私下与各军官等商量处置办法，孙匪竟大胆声称要纳贿三千元以求释放，冯玉祥当即拒绝贿赂。但他也想到：这家伙此时能以三千元贿己求释，如果解到省城必将再以巨款另贿别人。一旦让他得释，后患不堪设想。于是本着除恶务尽之义，二次提讯再得其承认劫财掳人的供辞后，即下令立斩之，并枭首示众，赢得万民称快。次日，标统范国璋和军法官亲来提审犯人，刚到营门外，却见贼首高悬旗杆之上，不由得大吃一惊，训斥冯玉祥这事办的鲁莽。冯玉祥乃解释说，如果是误杀，自己愿偿命。范说这不是误杀，而是擅杀，有功化为无功，太可惜了。冯玉祥却不在乎，他说：能为民除害，论功与否在所不计。不久，王协统已得到冯玉祥的报告，电召其赴新民。刚到，王化东正好接到总督徐世昌电示，将孙匪就地正法，并赏冯氏大洋三千元，截获之枪械马匹准其留营自用。对于擅杀罪犯之事，王则匿不上报，只报告已遵令正法，冯玉祥因此逃过一劫，放心回防。临行时，王力戒其对此事一定要守口如瓶，免得别人议论。
在这七、八年间（一九○二──一九○九），冯玉祥官运亨通，由士兵迭升副目、正目、哨长、以至督队官。这一时期，他为自己的地位和经济状况而奋斗，居然逐渐到达优越的程度而开始得到满足。然而自此他更大的努力乃是奋求知识学问，以弥补其少年之失学。此时，他经济的能力和升级的利益，令他发愤求学比前容易，但他并不因初步的成功，至养成骄傲和怠惰之心，而仍然精进向上，这不能不说是冯玉祥精神意志特别优越的地方了。
大凡听过冯玉祥在军中刻苦求学之苦行的人，没有一个不佩服的。他幼年时在保定乡塾只模模糊糊的念过两年多的书，识字不多，写字更加费力。入伍后，他知道没有学识无法上进，而且随时都有学习的机会，因此在练习武术及军操之外，则专心于读书写字。初时，他虽好读而不知所读。慢慢的也能领会一些字里行间的意思，于是买些《彭公案》、《施公案》、《三国演义》等小说，朝夕捧读。有不明白的地方，他便虚心请教于人，看书渐渐看得通达了。
同营的士兵往往在外抽烟、冶游、赌博、游荡、滋事，而冯玉祥则在营中独自用功，每为同棚的弟兄厌恶、讥笑、侮弄、不堪其扰。他要看书，便有人在旁拉胡琴、唱二簧、或遮闭灯光。他要写字，便有人摇动或拉开那桌子。他低声下气的求人勿搅扰，人家便高声抗议说：桌子是公物，人人有动用之权。他见请求无效，又说他们不过，没奈何只得在日间避匿于无人之处，夜间则等别人都睡下然后燃灯自己用功。可是同室的人又嫌灯光射眼，阻碍睡觉。他乃运用心思，想出绝妙的办法──凿开泥墙，成一空洞，以布遮蔽，等同室人人酣然入梦，然后偷偷的起来，燃着小灯，放在洞中，伸头布内，持书而读，自是稍得自由。这样凿壁藏光的苦学生活，真足以媲美古人之囊萤、映雪、负薪、挂角、及凿壁偷光等故事，而共垂不朽于士林了。
冯玉祥在军中读书多年，总是没有师承，可说是“瞎读”。及驻韩家墅任哨长时，他察觉营中有一位做杂役的姓胡的老头儿，原是老年落魄的山东文士，于是立拜为师，那时他的薪饷很宽裕了，便每月奉以修金四大元，白天仍旧做工，到了晚上为其讲解《论语》、《孟子》等古籍。自此，他于文义经史渐能悟解了。胡氏是冯将军的第一位良师。
冯玉祥的第二位老师而尤感激不已者乃是邓长耀（字鉴三，后任陜西省政府民政厅长）。邓本习医道，文学亦甚优。冯玉祥在第六镇任督队官时，邓长耀任军医官。自相识之后，冯玉祥便虚心求教。邓亦有心为善，竭力帮助其求学上进。冯玉祥买了一部《纲鉴易知录》，请其讲解，后来又更随其读古文。一年元旦，军中官兵上下都趁热闹上街游逛，而冯玉祥独留营中，请邓为其讲解韩愈《原道》一篇。邓长耀很是赞叹，乃开了个小小玩笑，限他一个时辰之内把韩文背熟，那么以后对他的请求必有求必应。冯玉祥当即答应，至晚间果然能背诵，一字不爽。从此他得到邓的谆谆启迪，共熟读古文百余篇，及其他各类典籍。冯玉祥最服膺曾、左、胡、彭等之著作，其后治军得力于诸书者不少。他于军中所颁课本（必要的军事教育）也都一一背熟，更进而研求高深的军事学。其后以研究心得竟能融汇中西古今治军练兵之法，而自辟蹊径，施行于其基本军队（十六旅、十一师、国民军、西北军、第二集团军）的训练之中，且实用之于历次革命战争并屡建奇功，逐渐成为杰出的大军事家，都是历年努力研究的结果。
宣统二年(一九一○)九月，原来的独立第一、二团和独立第一混成协，另编为第二十镇，由陈宦（字二庵）任统制。在此时期，每逢年中考试，无论读书或兵操（学、术两科）冯玉祥都是样样第一，那些学生出身的军官考试成绩与其也相差不少。统制陈宦是主考官，于是询问其人是甚么出身。回答者说是“行伍出身”，是从未入过甚么学堂的老粗，乃不住叹息，在其卷上大批特批“气死学生”四字。因此军中同袍给了他一个“气死学生”的绰号。
由于陈宧的赏识，就在这一年冯玉祥升任二十镇四十协八十标三营管带（即营长）。跻身中级军官行列，兵权在握，同时思想也发生了重大转变。
