济南惨案虽然发生于国民革命军的第二次北伐时期，然而其蕴含的时代背景却可以推溯到第一次世界大战时期。
1914年日本从德军手中夺取胶州湾后，1918年中日签署《山东问题换文》，日本取得在济南、青岛驻军的权利，胶济铁路由中日合营。1922年中日在美国的调停下签署《中日解决山东悬案条约》，中国买回胶济铁路，日本归还胶州湾并从青岛、济南撤军。当时的日本迫于国际压力，实际是很不甘心的。
当北伐军第一次攻占徐州，进兵鲁南，威胁济南时，日本政府以保护日本侨民及胶济路交通为由于5月28日派兵二千到山东，从青岛登陆并准备开赴济南，是为日本第一次出兵山东。此举遭到北洋政府和国民政府的同时抗议。蒋介石亦派人到东京谋求日方谅解，日方希望北伐军止于徐州。8月，蒋中正主动下野，日本也跟随英国的决定，从山东撤军。10月蒋中正赴日后，于11月5日与田中义一会谈，希望改善其对华政策，然而田中反劝蒋中正以统一长江流域为终止，停止北上。蒋中正在日记中批评日方“毫无诚意”，势要“妨碍我革命北伐之行动，以阻止中国之统一”。
1928年4月，当北伐军第二次直逼济南时，蒋介石特别知会日本驻上海领事，北伐军将保护战地的外国侨民。
眼见北伐军直取济南，日本陆相白川义则在4月17日的阁会上提议日本再次向山东派兵，并得到其他阁员的赞同，内阁决议以山东军撤退及北伐军中断胶济铁路为理由出兵，由横须贺派陆战队赴青岛。4月18日，日本外务省发表声明，声称山东局势之巨变影响了在济南的日侨，出兵纯属自卫。4月19日，田中义一与参谋总长铃木庄六奏请天皇出兵。同一日，日本内阁召开临时会议，决定出兵，并加派第六师团长福田彦助所部5000人从门司出发前往山东。20日作出出兵声明。为了抢先控制济南，日军驻天津3个步兵中队于4月20日侵入济南，在济南城里筑起街垒。20日至21日间，南京政府、北洋政府、上海总商会纷纷对日本政府提出了严重抗议。23日，国民党重要党部召开临时会议讨论日本出兵问题，通过《为日本出兵山东事致全体党员训令》并任命蔡公时为战地外交部主任，宣传保护侨民政策；24日，对外发表《告世界民众书》、《告日本民众书》呼吁世界人民援助中国，呼吁日本人民反对出兵。同时，张宗昌退回济南，并与孙传芳以及奉张作霖命令来济南的潘复、王古元共商对策。
4月25日，日军第六师团在青岛登陆，26日，第十一旅团开抵济南商埠，呈现出一副临战态势。同日，日军劝降张宗昌。4月30日，张宗昌弃城北逃德州。5月1日，陶峙岳所率的第四十军第三师和方振武所率的第四十一军先后开进济南，其余革命军部队也随后到达。这时日军已在市内各马路构筑工事，敷设电网，步步为营。经交涉后，日军于5月2日（一说5月1日）拆除街面上的工事。
5月1日晚，蒋介石的总司令部、外交部长黄郛也到达济南（一说5月2日上午九时[9]）。
5月3日，****战地政务委员会委员兼外交处主任、山东交涉员蔡公时与十八名随员到济南，于经四纬六路成立外交部特派员交涉公署。
5月3日上午九时左右，北伐军第四十军贺耀组部的一名士兵因患病被送往基督教医院治疗，遭到日军士兵阻止通行，由于语言不通，发生争执。日军士兵突然开枪，打死中国士兵一人，余人避入医院。大约同时，日军在魏家庄向正在张贴标语的中国士兵开枪，造成数人死伤。此外，据贺耀组回忆，日军在九时左右突然向驻扎在附近的第四十军第三师第七团的两个营展开攻击。由于当时第七团的团长、营长正外出开会，两个营伤亡惨重，其中第二营全军覆没。十点半时，有一个日本人在隆昌洋行附近试图通过第四十军防地，遭到四十军士兵阻止，双方发生冲突。各处日军士兵听到枪声后陆续开枪，对中国市民和军人展开屠杀，十二时之后已经枪声密集，导致尸体满街。十二时后交涉公署已无法联系，电话亦被割断。此后，济南城内各个革命军师团向日军展开反击，日军派联络参谋佐佐木到一中佐知会蒋介石，声称遭受革命军挑衅攻击，要求革命军停火。蒋介石知悉后当即命令城外的中国军队于下午五时之前离开济南市，并知会日军第六师团长福田彦助，请其约束部下。日军趁混乱（也有说是在5月6日）将当时驻扎于济南市广东会馆的第四十军第七团军士共千余人强行缴械，当场枪杀不少人后，将其余人押送至日本领事馆。第三十七军第一团在其驻地小纬四路遭日军包围缴械，官兵大部被掳走。有日军向南京政府外交部长黄郛办公处开枪射击。黄郛随后赴日军司令部交涉，遭到强行扣留，卫队被缴械，日军迫使他签字承认冲突由中国士兵挑起，遭到他拒绝。
下午二时，北伐军大部退出济南城，以避冲突，日军占领邮政局和电报局。晚上23时，蒋介石派高级参谋熊式辉赴日军司令部商讨处理办法，正在协商时，日军用炮火炸毁中国军用电台，守台士兵全体阵亡。大约同一时间，日军闯入山东交涉公署，杀害包括山东交涉员蔡公时等署内职员17人。
5月3日晚23时左右，日军声称在山东交涉公署门前发现日军尸体，破门而入后强行要搜检交涉署人员的枪械，但并无所得。国民党战地政务委员会外交处主任兼山东交涉员蔡公时及署内全体职员被日军捆绑，并被刺刀割裂脸面耳鼻。蔡公时用日语抗议后，被割去耳鼻，继而挖去舌头和眼睛。日军将署内职员剥光衣服后鞭打，然后拖至院子里用机枪扫射。最后，蔡公时、张麟书等17人全部被杀死，署内职员仅有一人逃脱（也有研究指当时署内共有23人，有6人逃脱）。
蔡公时被杀后，蒋介石一方面防止事件扩大，先令各军禁止冲突，然后令北伐军退出济南，绕道继续北伐。另一方面则从外交交涉，分别向日军司令，日本外务省抗议，并要求日军即时撤出济南，同时请求英国和美国协助调停。但日本并未停止行动，继续从日本本土向山东增兵一万余。
然而无耻的倭寇对此事竟然有不同的叙述版本。
据日本方面说法，5月3日，国民革命军突然大举袭击日本人的商店，杀害日本人，店中财物被洗劫一空。中村粲在《大东亚战争的起因》中描述，据当时日本驻南京武官佐佐木到一中校的手记与外务省的公电记载，残暴的中国官兵捆绑手无寸铁的日本平民，用斧头等利器砍劈，当场分尸。此外，妇女悉数被从阴部插入棍棒，男性的****则全砍下来，小肠与内脏纷纷外露，甚至有的遭到剥皮的命运。然而，日本历史学家秦郁彦认为这是酒井隆阴谋夸大当时情况，以鼓动军方出兵。当时在北京公使馆的冈田芳政少尉也在其回想录中谈到，当时曾经听说被杀的日本侨民实际上是朝鲜的毒贩，被当地人报复而杀害的。当时蒋介石的机要参谋张群在《日华风云七十年》（《日华风云の七十年》）中认为：“济南事件时，被中国民众杀害了的日本人是十三名。他们是秘密出售鸦片的浪人，之前得罪了当地中国人，在战乱中被杀害了。当时日军大大夸大事实，作为宣传使用了。”
5月5日和6日的《朝日新闻》的报道中，死亡的日侨人数上升到“二百八十个日本人被虐杀”，和实际的数字有二十倍以上出入。中国士兵如此的暴行震撼日本内地，日本国民群情激愤要求政府“暴支膺惩”(应该出兵支那（中国）、讨回公道)。
5月4日，情形稍有缓和，由于日军主力尚未到达，福田彦助乃着人通告北伐军，称双方将领如能彼此“了解”，可使风波不再扩大。当天上午没有枪声，晚上枪声复作。据国民政府当时记录，当日国民革命军派出熊式辉与日军代表在交涉署附近开会时，日军代表态度骄横（据熊式辉日后追忆，“对方一种骄横无人性的态度，并不是真心约来会商和解，似为故意对我加以激怒，求能扩大事态，阻碍我军之渡河北进”），声称“济南已为日本占领，你们已为俘虏，我们是日本大国民，你们是亡国奴”等，要求：济南车站及商埠内外，不许中国兵通行；济南二十里内，不许驻兵；要认此案是中国造成。
当晚，蒋介石在济南召集第一集团军前敌总指挥朱培德，总参谋长杨杰，高参熊式辉等举行紧急会议，决定为避免和日军发生重大冲突，中国军队大部退出济南，分兵五路，渡过黄河，继续北伐；并命令湘鄂方面加派主力军队，兼程北上；济南一案由外交部继续提出抗议，严重交涉；切实宣传，唤起军民团结及奋斗。最后，蒋介石提醒我方一定要持重。
5月5日，蒋介石离开济南，退驻近郊党家庄。此时，奉蒋介石命令，原先驻扎济南的北伐军部队已经基本退出，绕道继续北上。城内仅留下第一军第一师李延年团，第四十一军九十一师邓殷藩团，作为卫戍部队。一方面掩护大军撤退，一方面显示济南并非不战而弃。自8日起，李、邓两团在济南旧城与日军福田师团数度激战，坚守了三昼夜，至11日始奉命突围撤出，所部损失三分之二以上。与此同时，日军从大连抽调的第二十八旅团和部份空军到达济南。
蒋介石的步步退让，更助长了日军的嚣张气焰。
5月7日午后三时三十分，日军向北伐军发出最后通牒，要求十二小时之内做出交代。并提出五点要求：
1、中国方面必须将涉案的高级军官处刑。
2、解除所有反抗日军的军队的武装。
3、驻守辛庄、张家庄的北伐军队必须在十二个小时内撤退
4、严禁一切排日的宣传。
5、将军队隔离在济南及胶济铁路沿线二十里之外。
中方对事态的发展感到震惊，又因当时蒋介石不在，由战地政务委员会主席蒋作宾至日本总领事馆回复，说明要求延长回答期限，然而日军并没有采纳，认为可以自由行动。从5月8日凌晨四时起，由于认为没有得到满意答复，决定贯彻军方命令，开始炮轰济南全城。5月8日上午，北伐军的答复六项到达日方。
1，对于不服从本总司令之命令，不能避免中日双方误会之本军，俟调查明确后，当按律处分。
2，本革命军治下地方，为保持中日两国之睦谊，早有明令禁止反日宣传，且已确实取缔。
3，胶济铁路两侧二十华里以内各军，已令其一律出发北伐，暂不驻兵，但军队运动通过胶济铁道并有北方逆军之地方，或敌军来犯时，本军亦复派兵往剿。至于济南，为山东都会，及其附近公务场所，本军有维护治安之责，营驻扎相当军队，保持安宁秩序。
4，津浦车站为交通要地，本军应派相当武装士兵驻防，以保卫车站，维持安宁。
5，辛庄、张庄之部队，已令其开赴前方作战，两庄之军营可暂不驻兵。
6，本军前为日军所阻留之官兵及所缴之枪械，应即速交还。
5月8日凌晨，熊式辉与战地政务委员会委员罗家伦携蒋介石答复条件赶回济南，与福田交涉。同时，蒋介石以“未遵军令，回避日军”为由免去贺耀祖第三军团总指挥及第四十军军长职务，委方鼎英为第三军团总指挥，毛炳文代理第四十军军长。
蒋介石的上述答复与做法已经是相当让步了，熊式辉与福田又是日本陆军大学时期的同学，但福田态度傲慢，言语蛮横。且以答复逾期为由，继续攻击，占据了济南周边。5月9日上午9时，日军向济南城发动进攻。下午，济南守军被迫退入城内，进行巷战。日军进城之后即开始大规模放火以及进行无差别屠杀。至5月10日，双方进入僵持局面。10日夜晚，守军接到蒋介石发出的“放弃济南”命令，从东门退出。5月11日，日军进入济南城，并举行了入城仪式，悬挂太阳旗。日军以搜查南军为名。在城内肆意奸淫掳掠，居民稍有抵抗，即遭枪杀。
据事后济南惨案外交后援会的初步调查，中国平民于事件中死亡3945人，伤1537人，而后济南惨案被难家属联合会的调查结果为中国平民死亡6123人，伤1701人。据日本方面的调查，此事件中中国一般市民的死亡人数为三千六百人，伤者一千四百人，日军死亡二十六人，伤一百五十七人。
事件发生后，中国各地民众纷纷表示愤慨。惨案消息传到上海后，上海总商会通电南京政府外交部指出：“民情激昂，不可遏抑……务请钧部继续严重抗议……国势虽弱，民气犹存，当此国难已至，誓竭全力为政府后盾”，又通电各埠总商会和日本民众，并发表告各友邦宣言，还组成“对日委员会”进行抗议。通电奉系北京政府称“此次济南发生不幸重大事件，全国震骇，南北政府同时提出抗议，是对内政见虽或有歧异，对外仍然表示一致”，现在国难已临，只有“停息内争，集合全力，以御外侮”，况且“南北当局，本像一家，频年战争，徒苦吾民”，当“趁此时机，肆此干戈，表同情于党国……召集国民会议，解决国是。”实际上，5月5日，上海商界已经宣布对日经济绝交、学生联合会成立反日运动委员会、工人方面成立上海工界对日外交后援会。
5月10日，南京政府批准伍朝枢立即由欧赴美寻求帮助的计划。接着，南京政府也直接致电美国总统卡尔文·柯立芝和国际联盟秘书长德兰孟，要求美国和国际联盟出面调停。5月15日，美国众议院作出了《调停济案争议决议案》，美国国务卿诺克在新闻发布会上公开表示对日不满。日本亦曾派出代表向美、英、法、意、德等国解释出兵山东和对满洲的政策，以求取得谅解，但均遭冷淡对待。
5月28日，日本外务省向国际联盟提交了关于济南惨案的说明书，说明事件责任在于中方。与此同时，松井石根中将奉命来华协商。
1928年6月8日，国民革命军绕过济南进入北京。15日，南京政府宣布“北伐告成”。王正廷在6月8日就任外交部长后发表声明，言明“原则上日本需首先撤兵，然后正式开始交涉”。7月10日，田中义一首相在内阁会议上提出《济南事件的条件》。7月13日，日本政府和南京政府重新展开谈判，但只派驻沪商务领事矢田七太郎为代表，而且谈判前提包括中国政府向日道歉，惩办祸首，赔偿损失及保证日本在华侨民今后安全。南京政府拒绝谈判。10月18日，矢田七太郎奉日本政府训令，以全权代表的身份到南京与国民政府外交部长王正廷会谈。南京政府提出的谈判前提包括日本答应先撤兵等，日方无法接受，谈判再次陷入僵局。
1929年1月25日，日本驻华公使芳泽谦吉以全权代表身份，在南京与王正廷就济案进行第三阶段的谈判。经过五轮谈判后，双方意见于2月4日，交换完毕，订立四项原则：
1，在山东日军无条件撤退；
2，济案责任，由中日合组调查委员会于日军撤退进行调查后，再行确定，并查明损失；
3，赔偿以平等相同为原则；
4，蔡公时被害，日本不知其为外交官，允由日本政府另行道歉，不再提要求。
然而日方仍不肯签字，谈判再次停顿。
3月初，中日双方恢复谈判，由日本新任驻上海总领事重光葵与国民政府外交部亚洲司司长周龙光、山东交涉员崔士杰秘密进行协商。
1929年3月28日，中日双方签署了《中日济案协定》，其主要内容如下：自签订协定日起，两个月内，日军在山东的驻军全部撤退；双方损害，共同组织调查委员会，另行调查；济南之不幸事件认为“已成过去，以期两国国交益臻敦厚”。
协议签署后，日军退出济南。其后两年间，民国政府数次提请日方派定人员组织调查，然而日方没有回应。1931年9月18日，日本发起“九·一八事变”。中国外交官蔡公时和济南民众数千人（包括日本侨民数十人）的伤亡，以及双方要求的赔偿问题，实际以后也没有被提起。
后记及其影响
由于当时日本媒体远远较中国媒体发达，济南惨案发生之后，双方对外的宣传力度有天壤之别。5月3日起，日军已派出5名佐尉级军官作为“宣传要员”。在5月3日时，日资的电报通讯社已经发布事件起因为“中国方面，有暴徒图抢”，东方通讯社也称“以中国兵之抢掠为起因”。5月4日、5日，日资的《顺天日报》在报道中指出是“南军”（国民革命军）蓄意掠夺，虐杀日侨。5月5日、6日，日本国内新闻也大幅报道日侨被害惨状。消息一出，日本境内一片哗然。5月13日，东京召开“暴支膺惩”大会，要求报复中国。日本社会仇华气氛四起，数千华工失业，数百人被拘捕，数十人被驱逐回国。在国际上，大多数国际媒体都采用日本的资料和观点，“路透社为日人所用，日为日使馆陈叙片面宣传，送各西字报”（路透社被日本人利用，每天为日本使馆陈述片面宣传，送到各个外文报社）。当时，虽然有《米勒评论报》、《英文导报》持中立态度，但大部分媒体均偏向日本，认为日本出兵正当，例如《泰晤士报》驻北京通信员称“北京外侨皆欢迎日本对于中国之严厉的自卫手段”，《每日邮报》也主张对中国干涉。5月28日，日本外务省向国际联盟提交关于济南惨案的说明书，其中说明“日军绝不无故杀戮毫无抵抗之华人”，并称“其中是否有蔡公时其人，则不得而知”。
相比之下，中国媒体在国际上的宣传大为落后。另一方面，蒋介石采取的极力隐忍，以避冲突的方针，也使得南京国民政府的相应宣传脚步迟缓，慢人一步。直到5月8日，南京政府才发表对外声明，“将日军的暴行宣告全世界”，此时已经失去舆论之先声。南京政府迟缓的外交反应也受到当时国内媒体的诟病。5月8日之后，南京政府的对外宣传正式开始。5月9日，伍朝枢致电张静江、黄郛，要求“组织搜集日军暴行的证据，以俾宣传”。谭延闿以国民政府主席名义致电国际联盟秘书长，要求召开理事会公断济案。12日，谭延闿致电美国总统，请求主持公道。胡汉民、孙科时在巴黎联系北京政府外交部长罗文干和北京政府驻国际联盟代表陈箓，请他们将此案提交国联。5月13日，国民政府派出王宠惠赴英国，李石曾赴法国，伍朝枢赴美国，向各国诉说济南惨案真相[35]。同时成立专门的国际宣传委员会，以宣传惨案真相。6月3日，驻日内瓦代表夏奇峰向国联提出《关于济南日兵暴行抗议书》，驳斥日本于5月28日所作的说明书。然而，总体看来，南京政府的对外宣传首失先机，又没有组织，加上时南京国民政府并未获得国际承认，以及硬件设备匮乏，因而短期内影响有限。大部分国家舆论仍然偏靠日本。“法国的舆论差不多都是帮着日本说话的，……至多是不帮日本说话而已，但也绝不会替中国人说话的”。
中国民间的反应则迅速得多。5月4日，济南成立“五三惨案外交后援会”，调查惨案真相。5月6日，上海各大学学生召开联合会，决定成立国际宣传队，致电美国大学委员会和日本大学教授，请求协助宣传。5月7日，上海各界反对日军暴行委员会（简称反日会）在上海成立。截止至1929年2月，中国各地成立的反日会已达到三百五十余个。各界人士通过各种渠道，向中国的外侨和外国人民进行宣传，竭力争取国际舆论支持。
随着双方宣传继续，国际舆论开始在一定程度上向中国倾斜。美国国内舆论开始对日本严厉，希望政府出面干涉。英国的态度转为中立，认为“日本对华出兵之真意，大有可疑之点”。德国新闻界也呼吁不可对“日本乘中国时局不安侵占其军事经济的要地而袖手不问”。
5月4日，国民党济南市党部密邀济南教职员联合会、市学生联合会、妇女协会等团体，成立“五三惨案外交后援会”，调查惨案真相。1929年日军退出济南后，受害者家属共同组织了“济南惨案被难者家属联合会”，调查惨案过程事实。1930年3月将所整合资料集成《济南惨史》一书，印发5000册发送与当时编者与社会名流。1937年日军占领济南后搜索并销毁此书，至2011年已知仅剩2本。
济南惨案是发生在国民党北伐后期的中日冲突。日本为了维护其在华北和满蒙的特殊利益而出兵山东：一方面可能是希望左右北伐成功，另一方面则是要向快将统一中国的国民党显示力量。中国有历史学者认为“日本妨碍北伐、有计划的挑衅行动”。不同于之后中日全面战争，在1928年，日本国内尚有反对出兵的声音，英美的行动亦是日本政府主要的考虑。中国方面，以国民革命、收回列强特权为己任的中国国民党，首次正面面对“列强”的实力，北伐尚未成功的情况下，不欲正面对抗。除了在口号标语上抗日，纪念济南事件及蔡公时以外，实际行动上亦只是“先安内，后攘外”。
济南惨案的发生及其善后的处理，还有宣传使得中国国内反日情绪更高涨，济南惨案也使得中日双方互信合作的希望破灭，国民政府最终放弃联日外交，转而和西方国家尤其是美国建立较为密切的关系。
济南惨案也对当时的蒋介石的心理产生重大冲击，他在1928年5月3日的日记中写道：“身受之耻，以五三为第一，倭寇与中华民族结不解之仇，亦由此而始也！”，此后蒋在日记中坚持每日写上“雪耻”二字。
