次日，雨犹未停，但雨势却小了许多，这天的常参朝会如常进行，京内五品以上文官及中书门下各级官员悉数集于宣政殿，向天子参奏政事。早朝散后，众臣各自归衙署办公，德宗照例只召宰相至延英殿问对。
大唐的两位宰相端坐于殿内，德宗目朝杨炎，凝色问曰：“杨卿今日归朝，身体已无恙否？”
杨炎对道：“劳陛下念记，臣已无恙。”
德宗不冷不热地“嗯”了一声，杨炎却并未察觉其中的异常，反而寻机奏道：“陛下，自四镇叛乱以来，河北已连战告捷，独李希烈罔顾圣命，迟迟按兵不动，臣请罢其招讨使，以怠战之罪论处。”
德宗双目霍然一睁，眼神中发出凌厉的精光，声音冷冷地道：“卿何出此言？朕既已令希烈出兵讨贼，就当用人不疑，岂可中途废之？”
杨炎心知皇帝已不悦，但大事面前，仍欲据理力争，然而不等其再言，便听德宗又道：“此事朕意已决，卿无需再言。”
皇帝话音尖利，杨炎不觉浑身一颤，心知再进谏必会触怒龙颜，只得默然。过了片刻，殿内气氛有所缓和，德宗又声音平和地道：“今四镇叛乱，朝廷正是用人之际，今日问对，朕欲使二卿为国举荐贤臣干吏，二卿以为何人可堪大用？”
见皇帝颜色和悦，杨炎心中少安，但他却未参透皇帝此问的深意，只当是如往常一般举荐官吏，他正欲提拔亲信，遂乘机对曰：“臣以为华州刺史崔昭、河南尹赵惠伯皆是可用之材。”
德宗闻听心中不悦，他虽然对崔、赵二人的能力并不十分清楚，但却知道二人皆与杨炎亲善。德宗不动声色，又问卢杞道：“卢卿可有何人选？”
卢杞心下窃喜，他知德宗醉翁之意不在酒，于是对道：“臣以为御史大夫张镒、大理寺卿严郢皆是有大才之人，可以重用。”
德宗不置可否，但心中已有了计较，便道：“卿等所言，朕会仔细考量，且退下罢。”
二人遂拜退。才出殿门，杨炎便感到一种莫名的不安，心里不停揣摩着皇帝此次问对的用意。但直至回到中书省，他也未能想通，正在他心中忐忑时，中官窦文场突然前来传旨。
众臣依次跪拜，只听窦文场朗声曰：
天子有敕：杨炎论事疏阔违逆朕意，可罢中书侍郎、同平章事，迁为尚书左仆射。
省内一片哗然，杨炎惊惧之下面如死灰，伏在地上瑟瑟发抖，他只觉得腿脚瘫软，浑身无力，竟僵在了原地，还是身后的萧复提醒了他一声，他才双手接过诏书。直至此刻，他终于意识到今日延英殿的问对并不寻常。
“请杨相，不，应改称杨仆射才是，请仆射尽快至尚书省就任。”窦文场临走不忘催促杨炎。之前杨炎为相，最是鄙夷宦官，窦文场此时落井下石，颇有抱负之意。
“内常侍放心，杨仆射乃知礼之人，必不会逗留不去。”卢杞一开口便又向杨炎伤口上撒盐，他面带喜色，双眉几乎挑到了额上。杨炎恨得咬牙切齿，手心紧紧攥着圣旨，恨不得砸向卢杞，但他还是忍住了，“哼”的一声甩袖出门。
离开中书省后，杨炎即赶至宫城外的尚书省报道。左右仆射乃是尚书高官官，原在宰相之列，但自玄宗以后便成为了虚职，并无实权。尚书省所辖六部直接听命于中书门下，左右仆射则无权干预。
但皇帝就是皇帝，无论他如何决策，对臣下是升是降、是赏是罚，做臣子的都怨不得也怪不得，并且还要感念皇恩浩荡。所以次日，杨炎便入宫至延英殿面圣谢恩，德宗再见他时，也只是冷着脸，例行问对而已，余下再无他言。杨炎深觉惶恐，离开延英殿后立刻疾驰出宫，径直归了宅第。
此时中书省政事堂内，宰相的席位上只剩卢杞一人，他满面春风，一脸自得，静静等待着杨炎的到来。依惯例，官员在职位升降之后须先入宫谢恩，随后须至中书省拜谢宰相。卢杞一来欲奚落杨炎，二来欲在中书省立威。他之前虽与杨炎同为宰相，但职位却是门下侍郎，因宰相机构“政事堂”设于中书省，故其每次来此议事时，总自感低杨炎一等，如今杨炎罢相，卢杞独揽朝政，这等威风若不在杨炎面前展示，怎能痛快？
可卢杞左右等了半日，杨炎却始终未来，临近正午时，一名小吏来禀报说杨炎面圣后便出宫归宅了。卢杞听报拍案而起，大怒道：“杨炎狂妄，竟不把本相放在眼里。”
省内众僚不寒而栗，萧复见卢杞盛怒，心中隐隐不安，他虽与卢杞共事不久，却深知其心胸狭隘、睚眦必报，以前杨炎与其平起平坐，其尚有所忌惮，如今其大权独揽岂会放过杨炎？
与萧复同样不安之人不在少数，杨炎罢相的消息一出，群臣各有喜忧，杨炎为相以来提拔过不少人，亦排挤过不少人，如今其失了权柄，众人反应不一。痛恨杨炎者自然心中畅快，而与杨炎亲善者却是人人自危，唯恐祸及己身。
果然，杨炎刚刚罢相，其当初提拔的一众官员便尽遭贬逐。依照体制，五品以下官吏文由吏部、武由兵部任免，而吏部、兵部又皆听命于宰相，故而卢杞不费吹灰之力便撤换了一大批人。至于五品以上官员，虽由皇帝直接任免，但德宗多数时候也是听从宰相意见，如今卢杞一人为相，德宗只得听之任之。
在这些调换的官员中，有两人值得一提，一个是调任集贤殿学士的裴延龄，他与卢杞交往甚密，是为其左膀右臂。另一人则是升任京兆尹的王翃，原京兆尹源休乃杨炎所提拔，如今卢杞当政，自然要以心腹之人取代之。
王翃本贪财敛财之人，自卢杞为相后，常至其府上孝敬，这次其升任京兆尹，乃喜不自胜，遂亲自登门拜谢卢杞，并送上厚礼。
卢杞收下其礼，然后于厅堂见之，谓曰：“君可知本相为何擢君为京兆尹？”
“这？”王翃心下想来必是因为自己忠心于他，再加平时诸多孝敬，但是这些话当着卢杞之面却不能说，所以只得道，“下官不知，请相公明示。”
卢杞道：“京兆尹掌治京师，君居此职之后，便可迅速知晓知京城一切风吹草动，本相欲使君借此仔细查一查杨炎，看他近年做过甚么不法之事，一有收获立刻来报我。”
“查杨炎？”王翃闻言有些惊讶，但他是个聪明人，立刻便明白了卢杞之意，“其非已罢相乎，莫非相公仍不放心之？”
卢杞冷冷地道：“‘百足之虫，死而不僵’，杨炎为相二载，势力庞大，今虽罢相，他日仍可能复起。当初其因牵涉元载一案而出贬道州司马，中外皆以为其已无翻身之日，然陛下即位数月，便诏授其为宰相，此谁能料之？何况今其仍为仆射，身在朝中也！”
王翃起身应道：“下官明白了，下官一定详查之，决不负相公所托。”
卢杞微微一笑，但是笑容下丑恶的面容却让人望而生畏。
数日后，德宗又于延英殿召卢杞问对，曰：“朕已罢免杨炎，且赐绢帛与淮西，李希烈可曾进兵耶？”卢杞对曰：“杨炎罢相之诏，须数日才能传至淮西，请陛下放心，臣料李希烈届时必会进兵。”
德宗点了点头，须臾又问道：“杨炎罢相以来，朝中可有议论之声？”
卢杞眼睛一转，对道：“罢免宰相毕竟是大事，朝中有议论也在所难免，不过臣所闻皆是盛赞陛下之声，杨炎为相期间党同伐异、任人唯亲，如今罢相可谓是大快人心也。”
德宗闻言悦然，片刻后又道：“前番卿言张镒可堪大用，朕深以为然，欲以之为中书侍郎以代杨炎。卿以为如何？”
卢杞怔了怔，心道自己好不易才扳倒杨炎，尚未享尽独坐中书的威风，皇帝竟又欲任命新相！况且张镒并非暗弱之人，其若为相必有碍于自己独揽大权，怎奈当日为了取悦皇帝、压制杨炎，不得已举荐了他，如今皇帝复问，自己又岂能首鼠两端、前后不一？想到这里，他拱手道：“陛下圣明，臣无异议，不过陛下，张镒为相后御史大夫之职便空缺了，臣以为大理寺卿严郢可以继任，不知陛下意下如何？”
“准奏。”德宗并未多想，严郢本就是卢杞当日举荐的二人之一，确是有德才之人，而由大理寺卿升任御史大夫也顺理成章。
只是德宗并不知道，严郢虽与卢杞没有过多交往，但却与杨炎积怨颇深。当初严郢任京兆尹，只因不肯依附杨炎，便被其以宰相职权迁为大理寺卿，二人由此结怨。卢杞知严郢深恨杨炎，故而举荐其为御史大夫，以收为己用。
