接下来就该考虑组建政府的事情了。由于各地督军一直推举段祺瑞出来主政，张作霖不反对，于是段就在天津召开了特别会议，讨论政府组建一事。在会上，张作霖拒不承认当初的约定，说什么不进关的说法是个误会，根本就是两边的人听差了。同时还一并推翻了其他的承诺，诸如请孙中山来京主持政局，请段祺瑞主持军务等，并且还提出必须对南方的参与直系势力继续用兵，以扩张奉系的势力。段祺瑞可不想让奉系彻底控制全国局势，那他可就没戏唱了，冯玉祥也坚持当初的和平立场。由于张作霖刚刚进入关内，还没有站稳脚跟，不想过分得罪段祺瑞，以免自己无法收场。于是最终商定：奉军沿津浦线进至德州为止，但不侵入浙江；国民军沿京汉线向河南发展，但不进入湖北；允许吴佩孚和平下野，不下通缉令；召集全国善后会议，讨论组织政府和一切善后问题。
由于南方各省督军通电，在北京政府未成立之前，一切从北京发出的命令都不会承认，迫使这几个人不得不坐下来马上解决政府组成问题。冯玉祥一向比较倾向南方革命党人的主张，希望新政府由委员制组成，孙中山、段祺瑞、张作霖、卢永祥、冯玉祥等人为委员，组成政府。没想到刚一提出来就遭到段祺瑞、张作霖的齐声反对。也难怪，张作霖刚刚大胜，怎么可能找几个实力与自己相差如此之远的人来和自己平起平坐。段祺瑞则向来就是一个不愿意别人对自己发令的人，他的反对早在意料之中。张作霖提出可以组建一个临时执政府作为新政府产生前的过渡政府，不设国务总理，而由临时执政召集国务会议，他推段祺瑞为临时执政。冯玉祥认为在目前与奉张矛盾尖锐的情况下，还是需要争取段祺瑞的支持以解决长期以来没得到解决的地盘问题，而且段对他表现得很诚恳，言词中以“革命政府”相标榜，所以，冯就同意了张的提议。
15日，张作霖、冯玉祥、卢永祥、胡景翼、孙岳联名通电，公推段祺瑞为中华民国临时执政。四天后，齐燮元、萧耀南、孙传芳等直系各督军再次电请段祺瑞早日出山。在一致拥戴声中，段祺瑞于21日发出通电，宣告就任临时执政。
22日，段祺瑞乘专车入京。23日，摄政内阁总理黄郛将新刻的“中华民国临时执政”大小两枚印交给段，并通电宣告摄政内阁于24日辞职。24日上午10点，段祺瑞在铁狮子胡同原陆军部旧址举行临时执政就职典礼，宣誓就职。
这是段祺瑞一生中最后一次进入权力中心。不过，这次的进入与之前有本质的不同，因为他不是依靠自己的力量，当然就没有自己的发言权。冯玉祥、张作霖推举他都有利用他作为过渡的意思，他的老部下们绝大多数都对他的这次上台持否定意见，纷纷劝说他不要上当。尤其是自己的忠实部下徐树铮，远在上海，仍然多次来电劝他不要蹚这浑水。他们都认为，将来总有一天张作霖和冯玉祥必定打起来，到时候段祺瑞夹在中间难以做人。就算一时打不起来，他段祺瑞也不过是个傀儡，不会有真正的实权。奉系势力现在是一手遮天，张作霖都没有坐上这个位置，老段怎么可能坐稳了。
但是，这些劝说已经完全不起作用了。段祺瑞不是不明白自己的处境，也不是不明白部将们说的都是实话，但是他们却不明白，段祺瑞在天津下野，苦等了这么长时间，不就是为了重返权力的宝座吗？现在希望就在眼前，怎么可能轻易放过呢？即使再凶险，他段祺瑞也愿意冒险搏一回，也许老天保佑就让我翻身了也未可知啊！在这样的心态下，段祺瑞还是决定接受上天的安排，宣誓就职。
就职的当天，他就公布了《中华民国临时政府制》。规定“临时执政总揽军民政务，统率海陆军”； “临时执政对于外国为中华民国之代表”；“临时政府由国务员赞襄临时执政处理国务”； “临时执政命国务员分长外交、内务、财政、陆军、海军，司法、教育、农商、交通各部”； “临时执政召集国务员开国务会议”。
根据以上规定，段祺瑞这个临时执政的权力比总统还大，更别说总理了。现在他的权限相当于过去的总统加总理。一心想在政坛上有所作为的段祺瑞，第一次感到了权力是那么的美好。
接着，段祺瑞迅速任命了政府组成人员，当然，他能想起来的基本还是以前那些臭名在外的安福分子。龚以湛、吴光新、李思浩、叶恭绰、梁鸿志等又一次因为段祺瑞进入了权力架构的中央，自此，段祺瑞正式开始了人生中最后一段时期的执政生涯。
段祺瑞一生戎马，两袖清风。只有权力才能让他为之着迷，为此他可算是不屈不挠，今天算计这个，明天算计那个。他也曾几次升起，几次落下，沉沉浮浮之间，他却一次比一次爬得高，终于在他60岁时，成为了真正的国家元首“临时执政”。
段执政上班了，中国又有了一个号令天下的政府（形式上的），不过这跟段执政本人的个人生活倒是没什么关系。唯一的改变就是去执政府或从执政府回来的时候，在他沿途经过的这段马路上，军警布得满满的，三五步就是一个交通岗，要等他的汽车走过以后，才将岗警撤去，恢复交通，这点威风是他过去所没有的。然而段祺瑞要的可不是一点表面的威风，他迫切需要巩固自己的地位。
所以，在对外政策上，他以“外崇国信”换取各列强对他的执政府的承认和支持，即执政府继续承认帝国主义诸列强强加给中国人民的不平等条约，承认其在华的一切特权。他的这一表示遭到全国人民的唾骂，却果然赢得了各列强的好感，1924年11月28日，“驻京各国大使、公使暨代办晋谒”，以示对段祺瑞任临时执政的祝贺。对内，段祺瑞把平衡各军阀之间的势力，协调他们的关系，放在当政的首要位置上。
军阀矛盾与善后会议
段祺瑞到京之时，冯玉祥也回到了北京，张作霖也在此时定居天津，直接控制了北京附近地盘。中国的局面再次分化组合，矛盾依然存在，不过已经由直奉矛盾悄然幻化成了奉系与国民军之间的矛盾。
从实力上说，国民军远远落后于奉系，因此张作霖极为鄙视他，入关不久，奉系军队就直接收缴了王承斌部的枪械（此人与冯玉祥同时倒戈），这样冯玉祥就知道自己想以华北作为地盘的愿望彻底落空。南边的直系势力恨他出卖了吴佩孚，一直嚷嚷要打倒冯玉祥。而唯一同情他的广东革命势力又是远水难救近火，冯玉祥感到了前所未有的孤立。
思前想后，此时的他不能与奉系正面冲突，为了保存实力，最好的办法只有以退为进了。于是他通电下野，并向段祺瑞递交了辞呈。同时，他知道吴佩孚是多么痛恨自己，还特意给吴佩孚发了一通电报，安慰他不要失望。
然后，冯玉祥横下心来，到北京附近的天台山休养去了。
段祺瑞可不希望冯玉祥这个时候离开，自己主政的唯一依靠就是奉系与国民军同时存在，冯玉祥多少能牵制一下气焰越来越嚣张的张作霖。另外，北京附近的治安是靠国民军维持的，自己的卫队不过区区几百人，断然承担不起这样的责任。
张作霖看冯玉祥作出退让姿态，为博取政治资本，他也于12月2日离京赴津，并在此后以响应“废督裁兵”为由，通电自请解除东三省巡阅使之职。
张也是取“以退为进”之法，在他周围，兵败投奉的卢永祥无时无刻不想杀回老家，尽管段祺瑞不愿再起战端，竭力保持长江的现状，而给了卢永祥一个安慰奖，督办直隶军务事宜，但卢永祥还是想报齐卢之战的仇。奉军内部也有自己的小九九，张作霖手下第一大将李景林也希望打长江之战，好让卢永祥回去，他自己就可以来坐直隶这块地盘。最主要的，张作霖自己并不想偏安东三省一隅，他要把他的势力发展到长江流域。段祺瑞心情矛盾地看着他执政后依然大乱着的政局，对军阀们的各种贪欲也是心知肚明，但以他现在的力量是拿谁都没有办法。
12月10日，段祺瑞发出首份执政府政令，裁撤各省的巡阅使一职，张作霖因为自己请求解除东三省巡阅使，段祺瑞在政令中特别提出嘉奖，同时免去江苏督军的齐燮元职务，江苏督军一职随即跟着裁撤，命令江苏省长韩国钧暂时兼任督办江苏军务，卢永祥为苏皖宣抚使，李景林督办直隶军务善后事宜。
这下又捅了马蜂窝，被免职的齐燮元哪里肯服，与直系孙传芳联络，反对奉军南下。孙传芳在“齐卢之战”中渔翁得利，轻而易举获得浙江和上海的地盘，但得意了没几天，奉军势力又不断向东南伸展，他的地盘也受到威胁，于是他频繁地与原闽、赣、苏、鄂的直系旧部联络，准备联合反奉。
段祺瑞不希望孙传芳加入到齐燮元一方，令战争扩大，他一方面致电孙传芳，表明北京政令只针对齐燮元一人，绝没有侵害孙传芳的意思，另一方面又派吴光新南下做思想工作，同时协助卢永祥查办齐燮元。
这一招数离间了齐燮元与孙传芳，齐燮元既得不到孙的援助，被他派到徐州守江苏北大门的部将陈调元又跟奉军张宗昌密谋，让开了一条通路，奉军一路南下，齐燮元只好带着仅剩的残部从南京逃到上海，在沪宁线上与卢永祥的部队对峙。
1925年1月20日，安抚好孙传芳的段祺瑞下令彻底清查齐燮元，剥夺了他的官位，抄没全部私产充作江苏省赈灾经费。齐燮元势单力孤，与卢永祥在苏州、无锡打了几天后只身逃往日本。第二天，卢永祥陪着张宗昌抵达上海把齐军全部缴械。至此，第二次齐卢战争结束，卢永祥终于报了一箭之仇。
张宗昌到了上海，孙传芳一下子高度紧张起来，担心他得了上海之后又惦记他的浙江，于是将部队开到龙华，·与张宗昌互相对峙，新的冲突似乎又要一触即发。段祺瑞这时候实在不想再节外生枝，以免破坏他寄予很大希望的善后会议。于是他派陆军总长吴光新调解浙江军阀与奉系军阀之间的矛盾。在段祺瑞的努力下，双方总算达成了暂时的和平协议，张宗昌也将部队后退至徐州。
段祺瑞稍微松了一口气，至少眼下还不会出麻烦，毕竟自己作为北洋元老，现在的身份又是临时执政，说话还是有一定分量的。但他心里明白，这不过是权宜之计，战争爆发很可能就在明天后天，谁知道呢！军阀矛盾哪是他几句话就能解决的，那是骨子里的。唯一的希望，就是自己组织召开的善后会议了。
关于善后会议，段祺瑞的算盘是这样的：既然自己在全盛时期都没能实现“武力统一”的目标，现在更不可能了，但各军阀之间是有矛盾和裂缝的，如果通过这个会议能均衡军阀们之间的实力，协调他们的关系，将他们以自己为中心组织起来，形成一个北洋军阀的团结的大家庭，那么中国政局就仍在自己掌控之中。所以在他自己一手编拟的《善后会议条例》中，对参加会议的人员做出了严格清晰的规定，具体有四类人可以参加善后会议：
第一类是对国家有大功劳的人（这个就看他老段怎么定义了，一切解释权归段祺瑞本人所有）。
第二类就是这次讨伐曹锟贿选的战争中各军的首脑，具体也就是他们几个：段祺瑞、冯玉祥、张作霖、孙中山、卢永祥等（简直就是量身定做）。
第三类就是各省以及蒙古西藏青海的最高长官。
第四类就是有特殊资历、学术、经验的，由临时执政聘请或者派遣的人，不过总数有限，不能超过三十人。
看到了吧，段祺瑞骨子里还是军阀思想，完全将人民群众排除在国家大事之外。军阀们是高兴了，但有一个人却极为不满，那就是孙中山。孙中山一直抱着“主权在民”的思想，认为国家大事应该由老百姓说了算，而不是少数几个政客和军阀，同时他对段祺瑞的另一项政策更是充满愤怒，那就是“外崇国信”。
“外崇国信”的含义并不难理解，按段祺瑞的解释，中国要对列强显示作为一个大国的诚信，就应该承认前朝也就是清朝时期所签订的种种不平等条约，这就更令为废除不平等条约、民族解放而奔走奋斗一生的孙中山气愤不已。
1924年12月4日，孙中山终于到达天津，受到了老百姓的热烈欢迎，段祺瑞也派许世英代表他到天津欢迎，孙中山对段祺瑞的表面热情并不感兴趣，对于许世英的种种作为也是难以接受，于是在许世英前来欢迎他时，他却劈头盖脸给人家浇了一大盆冷水，还斥责他说： “我一生都在为了对内建立共和，对外废除列强的不平等条约努力。你们在干什么？一个个只想自己升官发财，害怕外国人。我们是不同道上的人，既然这样，还来欢迎我做什么？”摄于孙中山巨大的威望，许世英不敢顶嘴，只好诺诺而去！
此时的孙中山其实已经身患重病，如果按照现代医学的观点，应该是肝癌晚期。每天病痛折磨，让孙中山只好暂时停止进京，在天津休养调整。同时他委托汪精卫向外界宣读了一个书面声明：
首先，孙中山经过日本时曾经在日本朝野上下呼吁，中日两国本是同文同种，应该互相帮助，日本应该尽快取消二十一条以及其他一些极不合理的优先权。
其次，孙中山本人现在身体患病，在天津休息，过两天去北京。去北京的目的，不是为了我孙中山本人的官位和权力，而是为了促成召开合法的国民会议，还权于民。一旦时局稳定下来，老孙本人将辞去各种官职，立即离开政府去欧美游历，并且顺便还上几个西方强国游说一下，争取让他们取消清政府及民国初期签订的不平等条约。
