“殿下宅心仁厚，纵然二皇子无意争夺皇位，但其手下猛将如云，他们为功名前途，也可能会逼二皇子行动。”杨建笑道：
“到底是第一谋臣，见解通透。如果能拔掉世弟身边爪牙，世弟自然心境平和。他身边那批干将最好能化为己用，不行使之远离世弟，最后不得已才可杀之。”吴征沉默半晌道：
“眼下倒正好有个机会，对西域武城战事不利，皇上震怒，殿下可推选三皇子元王爷作为统帅出征，再借调兵遣将之名，将二皇子身边猛将一一调走，他们如不能归顺殿下，正好在战场上借敌人之手除去。”杨建厉声道：
“绝不可借刀杀人，他们虽是世弟身边猛将，但也是大赵的猛将，岂可坑害杀之，那样可能激起兵变，造成西域局面不可收拾。再者，为国家未来战事，也需留下这些猛将。如今，将他们从世弟身边调走即可，若是一时不愿归顺我，可让其长期戍边，断开与世弟联系即可。待我登上大宝，给予高官厚禄，他们自然良禽择木而栖。”吴征只得诺诺称是。
杨世在太子杨建和三皇子杨元身边收买了线人，杨建、吴征与杨元商议这项计划的时候，谈话内容已经传到杨世手中。杨世烧掉密函，陷入沉思。一日之后，杨世招来孙无忌等主力干将：
“我已得到可靠情报，太子欲借武城战事失利之机，向皇上建议元弟任统帅，再将你们中的大多数调往武城前线，一来削弱我的实力，二来借敌人之手，除掉不愿归顺他们的将领。”众将大惊，一时不知该如何作答，遂沉默不语。不多会儿，孙无忌怒道：
“太子如今调离我们，以弱殿下，他日必会铲除殿下，失去殿下，我等也必死无葬身之地，不如先下手为强，斩杀太子和三皇子，推殿下登上大位。”此言一出，举座皆惊，这可是弑杀兄弟，夺取父皇宝座的不仁不义、逆天谋反的大罪。大家都不敢出声，议事堂上一片寂静。杨世道：
“戕害兄弟之事，绝非君子所为。我宁愿后发制人，待大哥和三弟他们先行不义之后，再作出手，以免世人非议。”但是，大家的担心却是后发制人的危险性，所以没有人同意杨世的看法。房玄劝道：
“殿下功盖天地，当承大业。”陈金劝道：
“我等被太子调走，殿下羽翼尽矣，身何能久，还能如何后发制人？”迟敬厉声道：
“殿下不从迟敬之言，迟敬将窜身草泽，不能留殿下左右，交手受戮！”孙无忌也附和道：“无忌也当相随而去，不能再侍奉殿下。”此二人以脱离杨世为要挟。眼见杨世似乎犹豫不决，迟敬又道：
“平时蓄养的勇士八百人已经进宫，行动已经开始，擐甲执兵，事势已成，殿下安得置身事外！”众口一辞，何况八百勇士已经进入战斗位置，箭已上弦，即使杨世不同意也难以中止了。于是，杨世退让了：
“那就占卜一下，看看是凶是吉。”正在占卜，张公谨从外面进来道：
“事到如今，发动军事行为，已是不容置疑。占卜为了解疑，现在无疑，为什么还要占卜呢？”大家齐声同意。于是连占卜也没有搞，直接定计，发动政变。
杨世最担心的是内部的忠诚度。这样的行动，内部的高度团结是必须的，任何一点风吹草动都会影响全局。内部的人必须全力以赴，必须同心同德。杨世刚才用自己的犹豫态度来观察所有人的态度和立场。大家一致同意行动后，杨世立刻恢复了战场上的勃勃英姿。杨世目光扫过所有将领，忽然发现猛将杜晦不在场，立即让迟敬去找回杜晦，但是，杜晦没有立刻回来，他还不知道杨世已经下定最后的决心，迟敬也没有说清楚。杨世于是摘下自己的佩刀，交给迟敬：
“你再去，他要来就来，不来，就用这刀砍下他的项上人头。”杜晦闻讯，赶紧穿上道服，悄悄地潜入秦王府，参与到大家的密谋中。大家经过密议，行动有如下几个部分。
第一，皇宫武门设置伏兵，袭击杨建和杨吉。首先杀掉最主要的政治竞争对手，这是“擒贼先擒王”的战术。
第二，如果武门作战不利，就坚守武门，控制皇帝。把皇帝控制在自己手里，控制了皇帝，一切命令都可以以皇帝的名义发布。
第三，如果再不顺利，以洛阳为最后退路。他们秘密通知洛阳方面，做好迎接的准备，如果控制不了长安，就撤往洛阳。最后，杨世道：
“若是退往洛阳，要立即公开求助晋王沈约援救。只要洛阳不失，沈约必会相救。”孙无忌不解沈约为何肯施以援手。杨世道：
“父皇与大哥一向猜忌沈约，而我与沈约一向交好。我们公开求助沈约，说明沈约与我们一党，他若不救，日后也难免被清除。我们守住洛阳，也就守住半壁江山，沈约久经沙场，战功赫赫，必是胆大心细之人。他知道，支援我们，就可形成三国相生相杀之局面，江南方可无忧，甚至壮大。”孙无忌叹服。
这项政变计划的关键，是要把杨建杨元引到武门，而且不被察觉有异。杨世的计划是在六月四日黎明时分动手，但一直到六月三日都没有找到引杨建杨元到武门的机会。熟料，六月三日，发生了特殊的天象。太白金星滑过天空。太史局傅奕密奏：
“太白见秦分，秦王当有天下。”杨建从线人那里得知密奏，立即在皇帝杨辉看到密奏之前，向皇帝建议解去杨世兵权，杨辉不置可否。杨世的野心杨辉其实早就有所觉察，经常敲打杨世。当“秦王当有天下”这个天象被解释出来以后，再加上杨建解除杨世兵权的建议，杨辉下定决心要解除杨世的一切武装了，他当然不打算取消杨世的生命，但准备取消杨世的政治生命。
