尽管蒋介石在寻找新的经济、政治后台上已经做得相当成功，并且也已经找到了合格的打手，可以随时将上海工人运动击毁，但蒋介石为了确保这一行动的成功，还在某些细节上精心布置，企图发端于“人不知，鬼不觉”，给对方来个措手不及。
蒋介石进驻上海后，故意施放“团结”的烟幕弹。他在接受记者采访时驳斥了外国报纸散布的所谓国民党分裂的消息，蒋介石详谈了同共产党人的关系，他声明说，一切参加国民运动的人，不论他们的政治信仰如何，他都视为同一个党的党员等诸如此类言语娓娓动听。3月28日，上海总工会特派交际部主任赵子敬为代表，谒见蒋介石，针对“传闻有将闸北薛岳师长调驻他处，由第二师长刘峙驻防，并将敝会纠察队缴械消息”，要求蒋介石答疑。蒋介石回答说：“纠察队本应武装，断无缴械之理，如果有人意欲缴械，余可担保不缴一枪一械。”赵子敬又陈述“恐有流氓乘机捣乱纠察队及敝会事情”，蒋介石回答说：“此事当由余严行制止，尽可放心。”蒋介石还派遣了音乐队给上海总工会纠察队赠送了一面“共同奋斗”的锦旗，以“表示”他对上海工人阶级的“敬意”。事实上，蒋介石早就暗中部署妥当，伺机解决工人武装。
上海工人在开始举行武装起义时虽只有150杆破旧枪支和少数手榴弹，但由于不断夺取直鲁军阀的武器逐渐建立起了一支数千人的工人纠察队。也是具备一定战斗力的，不可小觑。3月27日，上海总工会委员长汪寿华召集全沪工人代表大会，并检阅工人武装纠察队，蒋介石看到了纠察队的阵容和力量，深深感到了工人纠察队的威胁。当时蒋就心生歹念，清除之心涌上心头，久久不能平静。
蒋介石先是寻找借口，要求上海总工会解除工人纠察队的武装，后又提出将纠察队拨归总司令节制。想方设法将其操于自己手中，随意处置，但上海总工会是有所戒备的，都一一给以回应。因此，蒋介石更加心神不安，认为心腹之患不除不快。他周密布置，详细安排。对上海外围的重要城市作了部署：白崇禧负责浙江的军务；调何应钦到南京，将卫戍南京而倾向革命的三个团缴械，并以总司令的名义命令倾向武汉政府的第二、六两军渡江作战，两军渡江后，立即切断退路；收买孙传芳的第五师和第九师师长，令其驻守扬州和南通。在上海，将不可完全信任的第一、二两师调往南京，调新近归顺的孙传芳的旧部周凤岐第二十六军担任上海防务。
蒋介石还控制了舆论，4月6日发表的文告规定：“所有武汉发来之电报、函件及武汉各报淆惑听闻妨碍革命之记载，并总政治部等各种反宣传广告，一概不许刊登及转载。”
蒋的这一系列行动都是秘密进行的，包括蒋介石许多军事同僚都不能领悟其行动下所隐藏的真正目的。****中央方面，如周恩来等人对此有所警觉，并告诫党内小心提防。但由于陈独秀的右倾领导，及随后《汪陈宣言》的发表麻痹了上海工人阶级，最终导致这场腥风血雨的不可避免和****的极大损失。
蒋介石集团为给发动反共“清党”政变披上“合法”的外衣，首先，他们假“中央监察委员会全体会议”之名“决议清党”，其次，发表美其名曰为“护党救国”的通电。
为了实施在南昌拟定的这一分裂革命营垒的手段，蒋到沪后，首先把“四老”——蔡元培、吴稚晖、张静江和李石曾请到枫林桥旧淞沪镇守使署的深院里密谈。蒋介石提出当前必须采取行动，立即反共“清党”。由于张、吴与蒋早有反共的密谋，故谈话主要是争取在党内外享有声誉的蔡元培的支持。随后，蒋又邀请被他排挤离粤的胡汉民到枫林桥，恳谈时局。四一二反革命政变发动的前夕，蒋介石还请出国民党元老吴稚晖，为其反共作舆论铺垫。吴稚晖在出面联络留居上海的反共分子分子分子分子之后，曾与环龙路44号的西山会议派接洽，争取西山会议派的支持。为此他好说歹说，费尽唇舌，终于凭借九牛二虎之车说动了西山派，赞成分共。
3月28日，吴稚晖还出面约集留沪的国民党中央监察委员蔡元培、张静江、李煜瀛、古应芬等举行紧急会议。吴稚晖在会议上报告他于3月6日同陈独秀谈话的经过，他以“陈独秀明言二十年内实行共产”为借口，以已入国民党的共产党员所谓“谋叛国民党”及“不利于中华民国之种种行为”为词，提议“应行纠察”，实行反共“清党”。其他人通过了吴稚晖的提议，并同意将反共“清党”冠以“护党救国”之名。
4月2日，蒋介石集团假“中央监察委员会全体会议”之名在沪召开特别会议。出席会议的人数不及全体中央监察委员的半数，但这次会议却冠之以“中央监察委员会全体会议”的名义。会上，吴稚晖提出了“致中央监察委员会请查办共产党函”，谓“现在汉口中央执行委员会为共产党及附和共产党之各员奉俄国共产党煽动员鲍罗廷而盘踞”，因而，“举凡中央执行委员内叛逆有据之共产党员及附逆委员，应予查办。”要求“中央委员非共产党委员，及未附逆委员临时讨论，可否出以非常处置。”接着，其他的与会者亦纷纷报告最近在湖南、湖北、浙江、江西、安庆、上海共产党之所为，诬蔑上述地区共产党人的革命活动”皆有不利于国民党，受外人指使之事实”，会议最后决议：“照吴委员所拟办法备文咨送中央执行委员。”
吴稚晖还提议，将中央执行委员分别审查，审查标准是：纯为国民党忠实分子，态度可疑之分子，共产党分子及其附和分子。只将提案文咨送“纯为国民党忠实分子”的中央执行委员。关于提案发出的时间，吴稚晖提议：待决裂后发出。假“中央监察委员会”之名决议“清党”，使蒋介石集团为即将发动的反革命政变披上了一袭“合法”外衣。武汉方面获悉上海方面策划“清党”的报告后，决定对蒋介石及东路军将领反共行动给予制裁。当武汉做出这项决议时，蒋介石对东路军中的****党员采取了行动。江董琴担任东路军政治部主任时，各级政治工作人员中有许多****党员。蒋介石发现这一情况后，即将江董琴调职，而以陈群取而代之。为抗议蒋的这一举动，东路军中的****党员，以黄埔同学名义发表宣言，蒋介石遂于4月2日下令解散第一、二两师政治部。在总政治部驻沪办事处的援助下，****党员于4月5日召集“驻沪各军师政治工作人员联席会议”，决议向蒋介石提出质问，蒋介石则手令白崇禧将总政治部上海办事处查封。
4月9日，邓泽如、黄绍竑、吴稚晖等人联名发表“护党救国”通电。该通电攻击武汉联席会议以来的种种措施，尤其对于二届三中全会通过的《统一革命力量案》准许共产党人参加国民政府，大肆攻击。这项通电，无疑是蒋介石集团发动反革命政变的政治宣言，为即将发生的政变披上“护党救国”的外衣，为蒋介石制造了又一个合法根据。
汪精卫于1926年11月20日从法国启程、中经苏联，于4月1日抵达上海。汪精卫的到来，无论是对国民党，还是蒋个人来说，都是一个不小的冲击，但是这并不能阻止蒋介石野心的实现。但是为了减少“冒险”行动的阻力，蒋还是尽力拉拢汪精卫。汪精卫归来之后，蒋介石多次与他进行“亲密”晤谈。关于蒋、汪上海会谈的内幕，蒋、汪在日后均有叙述。
蒋介石在奠都南京后，曾公布了其与汪精卫会谈的要点：第一，蒋告诉汪，必须立即反共“清党”；第二，蒋劝汪舍武汉而去南京。汪精卫在上海会谈中持矛盾的态度：一方面，汪精卫在本质上是反共的，他赞成“暂时应急之法”三条：由蒋、汪共同通知陈独秀，各地共产党员暂停一切活动，听候开会解决；武汉政府及中央党部妨碍党国前途的命令可以不受；各省党部，各机关如有捣乱分子在内阴谋破坏，可以随时以非常手段处置之。另一方面，汪精卫仍然以孙中山改组国民党及其联俄容共政策的继承人和党纪捍卫者的面目出现，未同意蒋介石等人立即反共“清党”的主张。
汪精卫说：“第一，民国十三年来改组之国民党，其精神与方策决不可牺牲。第二，如以党为必要，则党之纪律不可不守，否则党必为之破碎糜烂。”汪提议在南京召开二届四中全会，以解决一切问题。之后，汪秘密登船，离沪返至武汉。汪精卫不远万里自海外归国，在上海不同意立即反共“清党”，舍上海而赴武汉，发表《汪陈联合宣言》，均基于试图恢复从前的权力和地位的考虑，蒋、汪上海会谈分歧的实质就在于他们两人之间的权力之争，蒋介石企图暂时联汪立即反共，然后再排汪独掌大权，而汪则想暂时联共抗蒋，然后再分共独掌大权。所以，在上海时，纵使众位师友唇干舌燥地劝汪立即“清党”，汪虽也承认“共产党素来不轻变更所定政策，共产党实以本党为利用品。本人亦不赞成共产党之阶级革命及劳农专政，且据本人观察：国民党与共产党亦不易继续相安”，但最后也只能表示说：“本人希望暂能维持合作，自己愿负调和之责。”
导致蒋、汪上海会谈最终不欢而散的直接因素是4月5日报刊上发表的《汪精卫、陈独秀联合宣言》。宣言首先强调国共团结的必要性：因为虽然我们得到了胜利，但我们的敌人仍然存在。两党合作，本有各种不同的方式；重要之点，是在两党大多数党员，双方以善意的态度，解决此问题，方不违背合作之根本精神。《汪陈联合宣言》受到了共产国际的重视，称赞它是政治上的一大胜利，但引起了蒋介石集团的不满。事实上，蒋是应该感谢这张宣言的。因为，《汪陈联合宣言》没有揭露蒋介石的反动倾向，而且否认了蒋介石的“驱逐友党摧残工会”的事实，把一些历史事实当作“谣言”去辟，麻痹了革命群众的斗志，使他们放松警惕。但另一方面，《宣言》的发展和汪精卫的离沪使蒋介石集团拉汪精卫结盟的计划成了泡影，蒋介石及其同伙决定立即单独行动起来。
4月7日，蒋介石委任白崇禧为上海驻军司令，白氏的任务就是解除“一切非法武装分子的武装”。三天之后，4月10日，国民革命军总政治部被解散(上海分部在前一天已被撤销)，蒋介石在一份声明中指控政治部主任邓演达等人进行共产主义的宣传教育瓦解国民革命军。从4月8日至12日，白崇禧军队的政治部在上海报纸上发布口号：打倒在后方制造混乱的破坏分子!打倒反对三民主义的反革命分子!拥护上海临时政治委员会!加强真正的国民党党权!打倒篡党篡权的阴谋分子!士兵在前线牺牲生命，正直的工人不要在后方制造骚乱，举行罢工!很明显，这是蒋介石打算武力镇压的强烈暗号，一场蓄谋已久的血腥剿杀已经势在必发。
蒋介石预先布置下圈套，4月11日，青洪帮头子杜月笙邀请上海总工会委员长汪寿华至法租界赴宴。当晚局势已经非常紧张，总工会已得到右派要缴械的报告，另外一个负责人李泊之曾劝汪寿华不要去，但汪考虑后认为还是去的好。随后汪与杜同去，但汪寿华却一去无回，在被诱捕后不久，即遭暗杀。
4月12日凌晨，在祁齐路上的司令部内响起了军号声，上海滩内的炮舰也拉响了汽笛，隐藏在租界内的青红帮打手，臂缠“工”字符号的袖章，打着工人的旗号，携带枪械，倾巢出动，在闸北、南市、沪西、浦东、吴淞等处袭击****工会的工人纠察队。反动军队旋即以“调解工人内讧”为名，收缴双方枪械，2700名配有1700支长枪和几十挺机关枪的工人纠察队员在几小时内就被解除了武装。队员们有的来不及反抗，有的虽拼死抵抗也不能幸免，几百名纠查队员被杀害。
4月12日，白崇禧以戒严司令名义发布布告，将事变称之为“武装工友的冲突”，并说解除双方工友的武装是驻军司令之职责。
上海总工会对工人纠察队的被袭击，“完全出乎意料之外”。4月13日，上海总工会为反抗蒋介石四一二反革命政变发布总同盟罢工宣言，将事变真相通电全国，号召上海工人阶级“誓死奋斗，宁愿死于以国民革命为旗帜者之手，虽死亦有荣。”自4月13日开始，上海丝织、纺织、印刷等行业的工人以及电车司机、商店店员、海员20余万人举行了大罢工。4月13日上午，闸北工人群众在青云路广场集会，抗议上海军事当局的反动行径，要求收回工人武装，惩办破坏工会的军官，会后，群众前往二十六军二师司令部请愿，当游行队伍行至宝山路时，早已埋伏于此的第二十六军第二师士兵，竟开枪扫射徒手群众，枪击历时十五、六分钟，死伤者血流街道，呼喊啼哭之声惨不忍闻，当场死亡百人以上，伤者不可数计。
南市方面，也发生了军队向游行工人群众开枪事件，当时打死十余人。在东路军前敌总指挥部政治部主任陈群的授意下，一个自称为“上海工联总会”的组织出笼了，以此来取代上海总工会。13日下午，上海总工会被查封，打手们重新占领了上海总工会驻地湖州会馆。
4月14日，白崇禧以“市政府组织人员中混有共产分子”为借口，下令封闭上海特别临时市政府。当天下午，陈群指挥军警出动，搜查和封闭了上海特别市临时市政府、上海特别市市党部、上海学生联合会、平民日报社等团体和机关。在此后的数天中，各革命的工会组织概被查封，工人集会和罢工概被以“反革命”论罪，凡佩戴上海总工会符号的工人随时被拘捕判罪。
同日，东路军前敌总指挥部大队长王瑞华率领武装卫队两排，分乘汽车6辆驰抵上海特别市临时政府，声言：“白总指挥以市政府组织人员中混有共产分子，本日特奉白总指挥之命令，将市政府封闭，停止其工作，开逮捕职员，以待研讯。”随即将市政府在场开会的执行委员10余人连同办事员、茶役等20余人，押乘汽车一并解往龙华司令部。
上海四·一二事变后，蒋介石又在东路军中进行了“清党”。首先是东路军前敌总指挥部政治部主任胡公冕被通缉，第二十六军党代表赵舒被迫辞职出走，东路军总指挥部政治部主任江董琴被迫到武汉避难。接着，赶走第一军第一师师长薛岳及第二十一师师长严重及所有左派军官，撤销、拘捕一切政治工作人员。东路军中的左派军官及其他下级军官愤而离职者，不下四五百人。
到4月20日止，从东南地区被迫回到武汉的政治工作人员已达三、四百人，随后不久更多达千余人。蒋介石下令查封各种革命团体，大肆捕杀共产党人和革命志士在这个过程中，蒋介石此前所经营的私人班子开始发挥作用。英法当局的间接帮助最为明显，法租界包打听的首脑就是青帮的首领黄金荣。杜月笙也是跑前跑后，好不繁忙。先与公共租界总董、法租界总巡举行过秘密谈判，并达成青红帮出人、法租界出枪、公共租界借路的三方反共协议。从11日夜间开始，公共租界工部局捕房和英日卫军合作，不断在北四川路越界筑路区附近的中国领土上制造侵袭事件。4月14日晚，英国的铁甲车与日本陆战队合作，小规模地侵袭越界筑路区。助蒋之反动气势，长其兵威。
在蒋介石的“已克复的各省实行清党”密令指示下，粤、闽、浙、江等及四川的反共分子分子分子分子也纷纷出动。广西的一些城市在黄绍竑指使下也展开了同样的镇压行动。四川军阀刘湘下令军队刀枪并用，对手无寸铁的广大群众实行血腥屠杀，当地死难者达500多人，伤者不计其数。在蒋介石的老家浙江省，由张静江亲自前往部署“清党”，杭州和宁波等地的大批共产党员和革命者遭到杀害。
广州“清党”的重点是黄埔军校的“清党”。4月14日下午，国民政府后方留守主任李济深约黄埔军校代校长方鼎英去留守处谈话。李以中央党部的“清党”电令示之，说：“这次清党，关系重大，广州的共产党大本营就在你黄埔军校。校长要我问你，军校的共产党有好多?谁是共产党?谁是主要负责人?你平时没有调查过?清党时会不会出乱子?你有没有把握?你能不能负责?”方反问说：“据电令的指示，只是清党，并不是要杀共产党，是吗?”李答：“是的”。方表示意见说：“我是教育长兼代校长职务，这个责任应归我负。不过我要声明的是，去年决定北伐时，我鉴于校内国共两党师生间的暗潮日大，故曾坚求辞职，虽未获允许，但我一再说明，我只一心办学，因此，我在学校对任何人皆一视同仁，对****师生亦未曾有所调查。今既清党，我有三点要求：自宣布清党之日起，请给我三天时间，在这三天之内，凡属学员、学生、入伍生所在范围，不论省城、郊区及黄埔海面，都不要派一兵一舰前来；三天之后，成立清党委员会，负责办理；请给我一些款子，以便在宣布清党后，准许师生可以请假自由离校，并可预支三个月薪水作川资，有困难者，可预支五个月。这是不清自清之法。惟有熊雄主任，谁都知道他是一个公开的共产党员，他是否为学校共产党的负责人，虽不得而知，他是对学校有功绩的。我拟请其远出国门，赴法留学，川资多少，任他需要，不在此限。如能这样，我保证不出问题，否则请另选高明”。李济深答应了方鼎英的要求。
方鼎英随即返入伍生部，电话召集省市方面军民属各单位负责人前来面商，决定在当晚点名后，暗将枪支、弹药、机枪、刺刀等收藏起来，严防火烛，并一律定明晨起床点名时宣布“清党”命令。三日之内或自动报名承认，或请假支薪离校，听各人自愿，其余照常上课出操，决不许有任何粗暴行动。然后，方鼎英即回到校本部作妥善的布置，将熊雄说服，让其先离开一段时间，暂避风头。
15日，黄埔军校以校长蒋介石、党代表汪精卫的名义转发总司令部通令，称共产党为“少数奸徒，意存破坏”，要学生“不可受人挑拨”，对党国大事不可“妄有发言以及越轨行动”。另一个通令是转发广州戒严司令部(司令为钱大钧)的通告，宣布戒严期内，不许开会，令军校各级党部停开党员大会和小组会。15日上午，军校政治部主任熊雄被逮捕。省城本校入伍生团所在地燕塘等处，也被第一军二十师钱大钧部所包围、断绝交通。同日，黄埔军校宣布自“清党”之日起，三日之内，凡自动报名承认的，由各部、处、团队另行管理，听候处理；愿意请假回家的，一律预支三个月到五个月薪金，自由离校。宣布后，自由离校者不少。18日，军校特别党部内成立了“清党”检举委员会。是日上午，召集长洲本岛各学生队所有学生在俱乐部开会，正式宣布反共“清党”。将共产党员挑出计有200余人，解往中山舰扣押。另在沙河入伍生团被扣押者也达200余人。广州当局声称：“从严审查，如发现校中尚有共产党员，严为剔除。”自此，军校共产党人和国民党左派，或被杀害，或被逮捕，或被迫出走。
5月18日，黄埔本校“清党”检举委员会举行第一次会议，以邓文仪为主席，会议选出邓文仪等七人为常务委员，表示要彻底肃清军校共产党人，贯彻“清党”运动。5月26日，“清党”检举委员会又发出反共《紧要通告》，严令军校师生有不忠实于国民党的言论行动时，按“清党”条例细则办理。整个事变，逮捕之共产分子，共400余人。黄埔学生被李济深捉去的有五六百人，枪毙的也很多。
在“清党”中，军校入伍生军官，教导队都强烈反对李济深。他们纷纷从黄埔来到武汉，成立新党部，继续办公，组织营救被捕师生和援助脱险来鄂的师生。6月25日，从黄埔被迫来汉的军校师生300余人，向中央党部请愿，请中央迅速明令讨伐蒋介石。本来是秩序井然，教学有方的一块静土，因为蒋介石的一声令下，和李济深等人的积极响应，变得人心惶惶，一片混乱。整个学校被冲得七零八散，学生四处乱窜，教师们因为对“清党”有异议，有的被处分，有的被监禁。蒋介石的形象和名声也因此而一落千丈，把自己丑陋的一面完全暴露于世人面前。但是这些在蒋介石看来，都不重要。蒋介石欣慰的是他终于结束了出于权力维护和升级，不停地在反共、拉共，反苏联苏的左右摇摆的两难境地，和为了掩人耳目，实行的当面一套，背后一套的政治阴谋的束缚，可以“光明正大”，无所顾忌地按自己的意志为所欲为了。对于四一二政变，蒋更多地将其视为自己的得意之作。“攻敌于不备”，“灭敌于瞬间”。其跟随者当然也是附首称赞，拍手称快。用蒋介石自己的话说：“共产党声势从前何等浩大……但吾人一言清党，青天白日旗下各领域，或迟或早，一致起而铲除。彼等终于无尺寸立足地。”
四·一二政变后，蒋介石加紧在南京建立国民党中央和国民政府，一切都按照蒋介石的意愿如序进行。4月14日，蒋介石召集了在南京的国民党中央执、监委员会议，以蒋汪上海会谈为理由，将计就计，定于4月15日在南京举行国民党二届四中全会，并电促汪精卫等来宁。翌日，在宁的蒋介石等人故作姿态，“足足静候了三点钟”，由于武汉方面执、监委员没有到会，出席会议的只有蒋介石、胡汉民、吴稚晖、张静江、李石曾等10多人，不到国民党全体执、监委员80人的六分之一，只得改开谈话会。这次谈话会却非法做出决定：成立南京国民政府，镇压共产党，否认武汉国民政府和中央党部，恢复革命军总司令职权等。4月16日，南京的谈话会继续召开，为取得合法的名义，由胡汉民提议在南京召开国民党中央政治会议。4月17日，所谓的国民党中央政治会议在南京举行第73次会议，会议除接受蒋介石的提议，加派萧佛成、蔡元培、邓泽如等九人为政治委员外，还决定新的国民政府于4月18日在南京开始办公。会议推出胡汉民任中央政治会议主席、国民政府委员会主席，推钮永建任国民政府秘书长，推吴稚晖、陈铭枢为总政治部正副主任，推吴稚晖、李石曾、蔡元培以中央监察委员资格为国民革命军政治训练指导员。
4月18日，南京国民政府文武官员正式登场，在南京丁家桥江苏省议会举行成立典礼。会后举行阅兵典礼，胡汉民发表演讲，他肆意攻击****和国民党左派，号召北伐军将士拥护蒋介石。同日，南京国民政府发表宣言，声称“护党救国，责无旁贷”，宣布“国民革命之方略”，并昭告全国“凡不利于三民主义之反革命派，在所必除。”蒋介石在4月18日一天之内发表了下列文章和讲话：《告全国民众书》、《告全国工友书》、《告国民革命军全体将士书》、《在国民政府建都南京阅兵典礼训话》、《在迁都国府纪念大会宴会上之演讲词》、《拥护中央之通电》、《敬告全国国民党同志书》。4月20日，蒋介石又在南京黄埔同学会上作了一次训话。
蒋介石在国民政府成立典礼上否认国共合作，表示自己反共到底的决心。他诬蔑共产党人加入国民党为“孙悟空猴子投胎于人身，以其翻筋斗的花样，把人身体中的五脏六腑扰乱破裂”。“如吾人不消灭此等由鲍罗廷所指挥的敌人，则吾人必将自取灭亡，如吾人不消灭之，彼等必势将消灭吾人。”对中国共产党大肆挞伐，为的是争取与之划清界线，表明其反共“清党”之决心，同时也努力打造新政府的政治形象，在与武汉政权明显区分开来之际，着实迷惑了不少目光短浅，各另有企图的政客和文武官员。
南京国民政府的成立的确标志着一件历史阶段的结束，一个新历史时期的开始。它标志着第一次国共合作和轰轰烈烈、胜利在即的国民大革命的结束，也标志着国共对立，水火不容无休止的国内战争的开始。对于蒋介石本人而言，那却是他终于摆脱敢欲不敢为，进退两难境地的一个转折点，是他放开手脚，对共产党为所欲为肆无忌惮的开始。南京国民政府的成立，蒋介石并没有万事大吉，事实上蒋介石已经不知不觉地陷入了另外一场足以令其焦头烂额、应接不暇的维护权力地位的战斗中去，历史也因此变得更加复杂和纠缠不清。
