黎元洪复职之后的第一任内阁总理为颜惠庆。颜氏内阁从组建之日起，就一直残缺不全。上任伊始，内阁还因财政紧张等棘手问题，面临实在无法维持下去的尴尬局面。颜惠庆遂于8月1日向国会辞职。颜惠庆的去职，使得黎元洪不得不重新考虑内阁总理的人选问题。鉴于五年前吃尽了北洋系实力派段祺瑞的苦头，黎元洪决定邀请清流人士组阁，他所属意的第一人选为伍廷芳。但此时伍廷芳已然去世，唐绍仪成为黎元洪看好的总理人选。于是，他先派亲信金永炎前往保定、洛阳征求意见。曹锟、吴佩孚二人都表示总理由总统指派，决不干涉，但实际上并不尽然。早在黎元洪第一次任命颜惠庆组阁时，吴佩孚虽然声称决不干涉组阁事宜，却以加强直系和总统之间的关系为由，向黎元洪提出由自己的亲信孙丹林担任总统府秘书长一职，实则是监视黎元洪的行止。黎元洪的文胆饶汉祥等人坚决反对，黎元洪便将孙丹林任命为内务次长一职，进入颜惠庆的内阁，实则是代行总长职务。第二次组阁，曹锟、吴佩孚虽然又表态不干涉总统确定总理人选。但还是捎话给黎元洪，阁员安排上要将交通、财政、陆军三席留给高恩洪、高凌霨、张绍曾三人。见曹锟、吴佩孚二人并不反对唐绍仪组阁，黎元洪遂于8月5日发布由唐绍仪组阁的命令；在唐绍仪到任之前，由王宠惠代理总理。其他内阁成员计有外交总长顾维钧、内务总长田文烈、财政总长高凌霨、陆军总长张绍曾、海军总长李鼎新、司法总长张耀曾、教育总长王宠惠、农商总长卢信、交通总长高恩洪，高凌霨因对财政毫无办法不肯上任。因此这届内阁也并不整齐。
就在黎元洪宣布唐绍仪组建内阁命令的两天后，原本表态不予干涉的吴佩孚，突然接连在8月6日、8月7日发布“麻”、“阳”两电。麻电声称黎元洪的亲信金永炎到洛阳与吴商量组阁事时，吴佩孚对唐绍仪组阁“绝不赞成”，并提出用王宠惠代理总理，高凌霨仍长交通，张绍曾长陆军，其余阁员由黎元洪斟酌确定。李根源、张耀曾、谷钟秀三人“未便入阁”。阳电则有恃无恐地称内阁总理唐绍仪“查唐主八年上海和会，世间喷有烦言”；张耀曾入阁，妨碍川滇粤统一；卢信为金星公司交易所诈财流氓。直接否定了黎元洪的组阁计划。吴佩孚的突然变脸让黎元洪颇为愤怒。由于电文乃是吴佩孚的心腹孙丹林拿出来的，他把火气发到了时任内务次长的孙丹林身上，认为是孙丹林故意挑唆吴佩孚所致。黎元洪把孙丹林找到总统府，厉声训斥：“就是你捣的鬼！你真不愧是第二个徐树铮！”孙丹林矢口否认，并扬言要到洛阳告状，被高恩洪劝止。王宠惠劝黎元洪任命孙丹林为内务总长，以免其鼓动政潮，黎元洪则坚决不肯。事后，黎元洪愤慨地说：“他们把我抬上来，原来是叫我活受罪！”
由于吴佩孚的反对，唐绍仪还没有就任，内阁就倒台了。由于吴佩孚提出由王宠惠组阁，所以王宠惠署理内阁总理一职。在新内阁中，高恩洪、孙丹林、张绍增等人都是吴佩孚的亲信，所以吴派操纵着内阁大权。吴佩孚虽然口口声声称“某何人斯？敢干预元首大权”，实际上与段祺瑞如出一辙，一旦涉及到权力和利害关系等问题时，立刻就撕下戴在脸上的假面具，悍然插手组阁政务。不过，随着直系击败皖系、奉系两大势力，把持了北京政府的实际权力，直系的内部也开始出现了分化。直系内部，自从冯国璋去世之后，曹锟的地位最高。但是事关直系生死存亡的两次大战，起主要作用的都是吴佩孚，所以战后吴佩孚的地位急剧上升，直接威胁到曹锟。曹锟、吴佩孚两人在政治策略上也有所不同，曹锟更关心的是当选总统，而吴佩孚则热心于全国的统一。两人之间的分歧越来越大，时人谓之“保洛分家”。黎元洪不仅要受直系坐大的气，还因为夹在直系保、洛两派之间，格外不顺畅。为此，黎元洪常在闲谈中流露出对复职出山的悔意。
直系内部保、洛两派的明争暗斗，反映在北京政府里就是国会与内阁之间的冲突。内阁多为洛派分子，而国会正、副议长吴景濂、张伯烈因不满吴佩孚的颐指气使，所以倾向于保派。黎元洪夹杂在国会、内阁两者的矛盾之中，日子并不好过。各种矛盾纠集在一起，终于在1922年的罗文干案上集中爆发出来。
1922年11月18日晚，众议院正副议长吴景濂、张伯烈偕华义银行副经理徐亚韩匆匆赶到总统府，向黎元洪告密说，内阁财政总长罗文干不经国会同意、总统批准，擅自与华义银行代理人罗森达？柯索利签订奥国借款合同，使中国损失甚巨，而罗文干从中纳贿八万英镑。吴景濂要求黎元洪马上下令逮捕罗文干，以免其闻风逃遁。刚一开始的时候，黎元洪还比较犹豫，毕竟罗文干是内阁阁员，不经法律手续擅自逮捕，于法于情都不太合适。架不住吴景濂从旁陈说利害关系，黎元洪只好将步军统领聂宪藩、京师警监薛之珩召来，下达总统手谕，令其将罗文干及财政部库藏司司长黄体濂逮捕。军警连夜行动，将罗文干、黄体濂在各自的家中拿获，并送到警察厅看管。
内阁总理王宠惠听闻财政总长罗文干被捕，立即率领孙丹林、高恩洪到警察厅探视。次日上午，王宠惠率全体阁员到总统府向黎元洪质询，并指责黎元洪擅自下令逮捕阁员属违法行为。黎元洪也知道逮捕罗文干在法律上没有根据，面对质询一时竟无言以对。于是，他便表示要下令释放罗文干，向罗文干赔礼道歉。然而罗文干坚称受了不白之冤，人格及名誉遭到极大的侮辱，必须要到法庭接受审判。除非将贿赂嫌疑彻底查明，否则决不苟且出厅。黎元洪连续三次派人劝说罗文干从警察厅回家，都被罗文干断然拒绝。黎元洪知道罗文干案惹了麻烦，主动向王宠惠赔礼道歉，承认违法，希望以此将事情压下去。但是洛派阁员们不想善罢甘休，除了要黎元洪通电全国说明吴景濂与张伯烈胁迫总统下令违法逮捕阁员的情形外。还要黎元洪下令。将此案提交法庭依法审理。黎元洪迫不得已只得应允，草成一道命令，正要盖印时，吴景濂、张伯烈率二十余议员闯入总统府，阁员们连忙从侧门溜出。吴景濂坚决反对发布该命令，并说国会要查办王宠惠内阁。迫于国会方面的压力，黎元洪又将命令扣住不发。
11月20日下午，在居仁堂召开了府院联席会议，讨论有关罗文干案的处理问题。黎元洪先报告了整个事情的经过，内阁总理王宠惠接着发表意见说：“此案未经内阁同意，总统仅凭议长片面之词，发令逮捕阁员，实在是有问题的。这已经不是钧任(即罗文干)的个人问题，而是牵涉到责任内阁制的存废问题。今天我们必须弄个明白。”
黎元洪也觉得这件事做得过于莽撞，所以委婉地说：“我应当认错。”
高恩洪用手指着黎元洪的鼻子说：“认错就能了事吗？必须想个补救和善后办法。”
黎元洪十分尴尬地说：“怎样补救，请大家想个法子。”
孙丹林主张首先恢复罗文干的自由及其个人名誉。高凌霨认为这是法庭的责任，不必在这里讨论。张绍曾附和高凌霨的主张。高凌霨、张绍曾两人倒向了保派，与吴景濂采取共同立场。这样，内阁中分成两派，保派的阁员认为奥债一案未提交国务院会议讨论，内阁应负违法责任。而王宠惠则反驳说，这是手续的错误，即使内阁有责任，须受处分，也不过是行政处分，不能予以刑事处分。双方为罗文干案吵成一团，有人又提到违法逮捕阁员的责任问题，黎元洪为自己辩解称，他只下令监视而未下令逮捕。有阁员提议警察总监薛之珩曲解总统命令应该受到严惩，黎元洪则又表示责任应由自己来负，并情绪激动地说：“你们一定要办人，就先办我吧！”王宠惠、孙丹林等人见黎元洪态度如此强硬，便提出辞职，其他人也随声附和，声明罗文干案后即卸职，并要求黎元洪把压下的命令发出。黎元洪无可奈何地面允照办。正当居仁堂内吵作一团时，总统府侍卫来报，国会议长吴景濂闻讯又率议员近百人赶来，也不等黎元洪同意不同意会见，就径直奔入客厅。阁员们见来者气势汹汹，人多势众，纷纷从侧门溜走。吴景濂厉声对黎元洪说：“总统昨天不是答应不发这道命令吗？为什么今天又要发布？出尔反尔，这是什么事？如果发下这道命令，总统自己怕是要受拖累。”黎元洪沉吟了好一会又说：“那么再搁下吧。”吴景濂还要喋喋不休地论理，黎元洪的幕僚金永炎连忙劝阻，敷衍一番，这才了事。
由于罗文干案，黎元洪被置于各派政治力量和社会舆论批评的风口浪尖之上。内阁未经罢免，总统仅凭一面之词直接下令逮捕阁员，不但越出了总统的职权范围，也严重地破坏了责任内阁制度，所以各方对黎元洪都颇有微辞。梁启超公开指责：“总统蹂躏人权。”西方国家对北京政府也公然表示不满，发表言论称：“仅就此案情况而论，领事裁判权在目前的中国，实不可以撤销。”11月20日后，曹锟、吴佩孚的公开出面，使黎元洪的处境更为艰难。21日，黎元洪接到吴佩孚从洛阳发来的电文，说逮捕罗文干的行为实属违法，其中还有几句相当不客气的话：罗财长纵有违法事件，应提交阁议，先解官职，后送法庭。未经解职遂送法庭，似属不成事体，殊蹈违法之嫌。一个地方督军以这样的口吻训斥总统，这在中华民国史上还是第一次。黎元洪看完电报，气得浑身发抖，把吴佩孚的电报扔到桌子上，连声说：“岂有此理，岂有此理！”22日，黎元洪拟了一个答复吴佩孚的电稿，也措辞强硬地回敬了吴佩孚几句。然而发了一阵火之后冷静下来，深觉犯不着和吴佩孚决裂，所以又把这个电稿压下不发。
在吴佩孚等人的高压之下，黎元洪被迫于11月22日命令汪大燮、孙宝琦等人向北京地方检察厅出具了一张保单，派自己的座车将罗文干接到总统府下榻，对罗文干降阶相迎、握手致歉。随后，黎元洪又将聂宪藩、薛之衍二人召进总统府，要二人向罗文干赔罪。但聂宪藩、薛之衍二人认定自己是奉总统手谕行事，没有过错。这样一来黎元洪又为之语塞，不知如何是好，只好对聂宪藩、薛之衍两人说些安慰的话，叫他们退去。检察厅也提出罗文干的受贿渎职罪不能成立，准备发出不提起公诉的文件。
就在罗文干案似乎要以洛派的胜利而宣告结束时，孰料23日形势突变。保派的总后台曹锟亲自出马，发出漾电，痛骂罗文干丧权辱国，有五条误国大罪，建议组织特别法庭，彻底追究。当天晚上，保派议长吴景濂又率一批议员，手持曹锟的漾电来到黎元洪住宅，逼迫黎元洪发电申斥吴佩孚。就在黎元洪犹豫不决，不知如何是好的时候，吴景濂补充说：“事情已经很迫切。如果不发出这通电报，以齐燮元为首的直系将领，将有联名电报发出，这样一来总统就陷于孤立了。”无奈之下，黎元洪在吴景濂草拟的电报上加了一个“梗”字(23日)发出去。
曹锟的漾电发出之后，立即有王承斌、齐燮元、田中玉、蔡成勋等十余名保派军阀通电响应，一致指斥罗文干丧权渎职，要求对其治罪，甚至还有人公开指责吴佩孚袒护王宠惠内阁。稍后，连吴佩孚的嫡系萧耀南和张福来也通电附和曹锟，声讨王宠惠内阁，形成一片倒阁的声势。驻节洛阳的吴佩孚见曹锟的威势正盛，再加上他和曹锟二人名分上还是有高低之分的，不宜公然对抗，于是就立即转变态度，于26日通电称赞曹锟的漾电“摘奸发伏，钦佩万瞻”，并支持严办罗文干。保派压倒洛派，占了上风。面对数日之间罗文干案的大翻转结局，黎元洪也不得不重新表态。洛派败阵，王宠惠内阁失去支持，遂立即垮台。而罗文干则又由座上客变成了阶下囚，自请回到检察厅听候审讯，检察厅也不再坚持罗文干的受贿案不成立了。
至此，围绕着罗文干案的保、洛两派的明争暗斗，以保派的胜利而宣告结束。黎元洪在罗文干案的处理上，受制于曹锟、吴佩孚二人，左支右绌，狼狈不堪。时局的发展使黎元洪渐渐明白，复职出山简直就是一个错误。
王宠惠内阁倒台之后，选择何人出面组阁，又成了黎元洪最为头疼的事情。由于曹锟、吴佩孚两大军阀对内阁的指手画脚，内阁总理之职成了烫手山芋。黎元洪颇费了一番周折，才通过李根源说动老官僚汪大燮答应出面组阁，而且只代理十天内阁总理。黎元洪打算利用汪大燮在北京政府里良好的人际关系，权作保、洛两派的缓冲，然后再过渡到建立一个能为各方所接受的新内阁。但是由于汪大燮是具保罗文干出检察厅之人，所以汪氏内阁立即遭到曹锟的反对，众议院正副议长吴景濂、张伯烈也通电予以攻击，弄得黎元洪进退两难。阁员也因曹锟的反对，或居中观望、或根本不敢就职。汪大燮匆匆结束了十天的代理期之后，即坚求去职，不肯多代理一天。
汪大燮从内阁卸任，黎元洪物色的正式内阁总理人选为张绍曾。为什么会选择张绍曾出山？主要是因为张绍曾在政治派别上属于保派，却又是吴佩孚的儿女亲家。保、洛两派应该都能接受。张绍曾本人又和国会议长吴景濂关系非常密切，国会通过对张绍曾的任命应该不成问题。1923年1月4日，黎元洪正式发表由张绍曾组阁的任命。在张氏内阁中，内务总长高凌霨、财政总长刘思源、交通总长吴毓麟皆属保派人物，洛派人物多被挤出内阁。吴佩孚原想留任高恩洪，但是却被曹锟以“势不两立”为由赶出内阁。然而，张氏内阁从组建之初就卷入了汹涌的政潮，直至最后垮台。
张绍曾虽然是保派人物，但个人的政治观点却与以曹锟为首的保派不尽相同。张绍曾在内阁成立以后，就标榜南北和平统一，为此致电西南各省主张“对内先谋事实上之协商，对外完成法律上之统一”。这与直系武力统一南北的方案背道而驰，不但招致了吴佩孚的嫉恨，也引起了曹锟的不快。2月17日，曹锟、吴佩孚提出要北京政府任命沈鸿英、孙传芳为粤、闽两省的督理，张绍曾认为这项任命有悖和平统一方针，不愿同意。本来曹锟、吴佩孚还以为张绍曾是一个“听命之人”，没想到他竟然会公然拒绝。曹锟、吴佩孚不得不派人至北京坐镇逼催，甚至拍案大骂。张绍曾实在咽不下这一口气，于是便在3月7日通电宣布辞职。但迫于直系的压力，张绍曾最后不得不屈服，于19日又宣布复职，并按照直系的要求副署了任命沈鸿英、孙传芳为粤、闽督理的命令。直系的意愿虽然最终得以实现，但是张绍曾内阁与曹锟、吴佩孚之间已有嫌隙。
