杨素见这么顺利便杀掉了虞庆则，不免有些得意扬扬，似乎自己取代高颎也是时日可待。于是他决定乘胜追击，再密谋除掉高颎另一个重要的心腹，那就是王世积。
高颎也明显感觉到了杨素和杨广的意图，便再三嘱咐王世积，万事小心谨慎，决不能让杨素抓住任何把柄。现在只能以静制动，同时也命人暗中搜集杨素的不法之事，准备待杨坚有所觉悟之后再对杨素等人发起致命的一击。
就在高颎和杨素明争暗斗，背地里较量的时候。贺若弼也插手进来。自从平陈以后，贺若弼整日醉酒当歌，借酒消愁。当他看到虞庆则这么被冤杀之后，并没有愤愤不平反而有些暗自得意，甚至感到有些解恨，贺若弼自然不会忘记在杨坚篡夺大周皇位后，正是虞庆则为了逢迎杨坚而奏请杨坚诛杀了宇文皇室所有家族，这也成了贺若弼心中难言的痛楚，如今虞庆则也是罪有应得。但是杨坚也看不惯杨素如此肆意妄为，虞庆则死很容易，不如让他活着在狱中好生反省，度过余生。于是贺若弼多次觐见杨坚，请求杨坚看在虞庆则对大隋立有大功的份上，饶他一死。正当杨坚犹豫不决之际，杨素却力主杀了虞庆则，以警告朝中那些狂妄自大，目无君主之徒。
这句话说到了杨坚的心坎上，最终虞庆则还是被杀。
贺若弼出奇的愤怒了，他决定要羞辱教训一番杨素的狂妄嚣张的气焰。
朝会时杨坚议事完毕后，贺若弼突然出列出列道；“陛下，臣要弹劾尚书右仆射杨素。”
包括杨坚在内所有的人都大为惊愕，将目光都投向了贺若弼，有的人幸灾乐祸，有的人在心里暗自叫好，也有的人为贺若弼捏了一把汗。
杨素则铁青着脸恶狠狠地盯着贺若弼。
“皇上，杨素虽立有大功，可却又大恶。皇上屡屡下诏节俭治国，号召百官以力行节俭之事，但是杨素却逆风而上，其府邸的豪华丝毫不亚于皇宫也不逊于仁寿宫，家童数千，宅邸奢侈，制拟皇宫，皇上，这可是千真万确的证据，皇上亲自登门或者派人察访一番便获知真相。还望皇上对杨素加以惩戒，以儆效尤。”
贺若弼的掷地有声让杨素铁青着脸渐渐变得苍白，不由得浑身颤抖，汗水涔涔的流落。
“杨素啊，可有此事？”杨坚问道。
“皇上，臣知罪！臣一时糊涂，臣罪该万死！”杨素知道这些都是明摆着地确凿的证据，若是再有丝毫的隐瞒，惹恼了杨坚恐怕自己会死得很惨。
但是杨坚并没有当即处罚杨素，只是责骂了一番。但是这足以让杨素感到心惊胆战。
退朝后杨素走出殿外仍旧面无血色。
“杨将军，本将多有得罪，还望将军海涵。”贺若弼若无其事地走过来，满脸笑盈盈的。
杨素眼神里充满了惊恐，看到贺若弼这般，不由得怒火万丈。
“贺将军，你真是欺人太甚，我与你远日无仇，近日无冤，你为了要诬陷我，置我于死地。”
“哈哈，杨将军，想不到你还有害怕的时候，其实虞庆则是该死，但是也不能让你如此冤杀，否则武川军人会对皇上对朝廷感到寒心。你这是公报私仇，本将军不想因为你一个人而伤了三军将士的心。”
“贺将军，如今虞庆则已经死了，你还能怎么样？再说皇上也不一定会听信你的谗言。”杨素怒视着贺若弼。
“哼，谗言？杨将军，我可没有冤枉你，我所说的都是证据确凿，你那府邸宛若皇宫，皇上只要亲临巡视一番便知真相。将军难道还感到冤枉不成？”
“贺若弼，你不要太过得意，你要真的与本相作对，早晚会不得好死。”
“哈哈哈，杨素啊，果然是杨素！”贺若弼也直呼其名，“就你也配得上成为朝廷的三公，别人不说，论资历和战功，你比我差远了。可是本将没有你那般无耻和狼子野心。”
杨素不再与其争辩，怒气冲冲拂袖而去。
贺若弼却径自追上，俩人怒目而视。
“杨素，你的目标该不会是高相国吧。我警告你，人在做，天在看，莫要丧尽天良，积点德行吧，否则你不但会死得很惨。”
杨素怒气冲冲地大步流星般走开。
“杨素，你要知道鸟尽弓藏，兔死狗烹，否则的话，你会后悔莫及！”
