高颎抱着急切的心情回到长安，可是他不曾想到京师中一股暗流正在酝酿，在黑暗中向自己袭击过来。
正当大隋处在风雨飘摇的时候，有些人却在暗自窃喜，最为活跃和激动的莫过于刘昉和郑译。两人帮助杨坚窃取大周政权本来就是为了谋求个人私利，企图继续在朝廷耀武扬威，可是两人仅仅被封了个柱国的勋爵，不但毫无实权而且毫无任职，只得灰溜溜地待在府邸消磨时光，昔日府邸门庭若市，如今却门可罗雀。
两人想起自己往昔是多么的风光无限，执掌朝廷中枢要职，顷刻之间便可决定朝臣的命运乃是生死，可如今自己却是一无所有。往日对自己笑脸相迎的同僚此时对自己也都是满不在乎甚至露出了鄙夷的神色，真是世态炎凉。两人不禁充满了怨愤，自己亲手扶上台的人，居然将自己拉下马，这番痛苦和折磨只有二人有切身的体会。两人心中充满了悲凉和怨恨。
不光他们二人，卢贲也对杨坚颇有怨言，自己舍身保住杨坚，以命相搏，自己只得了个散骑常侍的职务。刘昉通过四处走访，发现李穆的侄子李询、华州刺史张宾和相州刺史庞晃等人都对杨坚有所不满。刘昉和郑译决定暗中联络不满杨坚的朝臣等待机会逼迫杨坚归还朝政。
时下突厥入侵，刘昉热血贲张，似乎看到了希望。他决定利用这一机会将杨坚赶下台，自己能够将你推上权力的顶峰，自然也会将你打回原形。能够让你拥有一切，也会让你一无所有，就让你杨坚看看我翻手为云覆手为雨的能耐。
刘昉将密谋告诉郑译时，郑译大为惊骇。权衡之下，终究没有答应，劝说刘昉谨慎行事；但是刘昉似乎被愤怒冲昏了头脑，决定铤而走险。
郑译虽没有参与刘昉的阴谋，但是仍然私下里请了道士来到府邸，画符设坛，念咒祈祷，希望杨坚能够回心转意，重用自己。
刘昉首先找到了卢贲，卢贲禁不住刘昉的一番蛊惑，当即便表示要将高颎和李德林一干人赶下台。于是他们四处活动，煽风点火。
杨坚为了对付突厥可能兵临长安的可能，节约粮食，便颁布了禁酒的诏令。这时刘昉公然跳了出来，不但不遵守法令，还故意让其妾租赁店面，公开卖酒。御史大夫梁毗弹劾刘昉，杨坚也清楚这时刘昉故意在向自己发泄不满，杨坚也清楚刘昉那种被冷落无人问津的境地，便没有对刘昉治罪，甚至连一句规劝都没有，任凭刘昉胡作非为。
刘昉见杨坚没有处罚自己，更加张狂，便和卢贲、李询等人互相勾结，密谋打击高颎、李德林和苏威等杨坚信任的朝臣，自己取而代之。
李询是李穆的侄子，大将军李贤之子，李贤被宇文护诛杀后便由李穆加以庇护。在平定尉迟炯叛乱，立下了汗马功劳，在周武帝时率军击退了吐谷浑，杨坚虽然重赏了李氏家族，但是李询仍未获得重用愤愤不平。
高颎回到京师长安便感到一股阴风向自己扑面而来。
不久京师长安传开了一条消息，说大隋之所以受此劫难，完全是奸佞所为。自古奸佞误国，恶人当政，祸国殃民。还编出了一首歌谣：坚不坚，在李高，公辅当政，昭玄坐堂，兴亡只在一瞬间，要想兴，清君侧。
这意思是非常明显了，公辅和昭玄便是李德林和高颎的字号，矛头直指李德林和高颎。
杨坚被震惊了，李德林和高颎也感到了一股前所未有的压力。杨坚明白这些背后一定是有人指使，企图在兴风作浪。
京师长安早已经是人心惶惶，朝臣们也都在犹豫观望，杨坚则被彻底的激怒了。
高颎无奈之下便向杨坚请求辞职，杨坚自然不会同意，“高爱卿，这个时候你应该和朕一起风雨共进、力挽狂澜；你应该挺身而出，而不应该是向朕辞职，你这样做太让朕寒心。”
“皇上，臣这也是无奈之举。皇上，现在必须要给朝臣和百姓一个交代，因为他们并不明真相。如今京师面临着外患的威胁，皇上若不这样做，恐怕会引发内乱。到时候恐怕局面就难以控制了，臣担心的是这一次绝不是空穴来风，背后有人在组织谋划，所以才有恃无恐。若是皇上一意孤行，犯了众怒，那局势更加复杂危险了。”
“后果真有那么严重吗？”杨坚问道。
“皇上，现在我们容不得半点马虎，还望皇上明鉴。”
杨坚权衡再三，便同意高颎辞职，“高爱卿，朕只准你辞去尚书左仆射之位，暂时先给那些人一个交代。”
“高爱卿，你的职位由谁来接替？”
“皇上，臣认为苏威最为合适。”
杨坚摇摇头，“苏威也是毫无资历可言，他们这些人绝不会善罢甘休的，与其这般倒不如找一位让他们满意的人选。”
“那皇上准备让谁接任？”
“东京左仆射赵芬。”杨坚道，“赵芬虽然年迈体衰，但是自从宇文泰丞相便入仕，他是天水赵氏，正好可以堵塞朝中文臣武将的嘴巴。”
“高爱卿，朕本想我们应该精诚团结，共赴国难，想不到居然有人趁此机会兴风作浪。朕不担心突厥，他再怎么强大，也不会转眼之间便会攻入长安；而担心的是有人图谋不轨，祸起萧墙啊，所以朕一定要清除这些祸患，这些人才是大隋最大的潜在的威胁。”
