此前，琅邪王司马睿因在“八王之乱”中“恭俭退让”，得以与司马越保持较好的关系。居京都洛阳时，也与王衍族弟王导“素相亲善”。王导便常劝司马睿回到自己的琅邪国，并为其治理琅邪国出谋划策。由于当时中原战乱，晋朝王室垂危，王导便想借司马睿兴复王室，对司马睿“倾心推奉”。司马睿也同样对王导“雅相器重，契同友执。”晋永兴元年（304年），司马越收兵下邳（今江苏邳县南）。封司马睿为平东将军，监徐州诸军事，镇守下邳。司马睿即请王导为安东司马，“军谋密策，知无不为”。晋永嘉元年（307年）一月，晋怀帝继惠帝即位，司马越以太傅身份辅政，进一步感到中原难以维持而意迁南方。七月，司马越让司马睿以安东将军身份都督扬州、江南诸军事，渡江移镇建邺，为司马氏退守江南奠定了基础。
由于司马睿才能平庸，在司马氏宗室中名望不高，初到建邺时，江南世家大族对他都较为冷淡，一个多月过去，还没有一位有名望的士族前去拜见。王导很担心，便与从兄王敦商量：“琅邪王仁德虽厚，但名望尚轻，兄长威风已振，应帮助他复兴晋室。”王敦也表示支持。于是，在三月三日当地人们的修禊日，王导请司马睿乘坐华丽的轿子，排出威严的仪仗队列，由王导、王敦和一批北方名士骑马跟从。南方士族顾荣等在门隙中窥看，大为惊讶，赶快相继到路旁拜见。王导接着向司马睿献计说：“古代的帝王，无不宾礼故老，存问风俗，虚己倾心，招揽俊杰。况且当今天下大乱，九州分裂，我们大业初创，急于用人。顾荣、贺循是南方士族的首领，招他们来任职，以收揽人心。其他的士人自然就会前来。”司马睿便让王导亲自登门去招顾、贺。顾循、贺循曾在洛阳晋朝做过官，中原大乱后回江南。顾荣还认为“中国丧乱，胡夷内侮，观太傅司马越今日不能复振华夏”，只有江南如孙权之类的人物才可能独立称雄。这时见司马睿前来招抚，便欣然而至。顾荣出任军司马后，还向司马睿推荐了不少名士，以致出现了吴越国人心所向的局面。
当时，南北士族间的隔阂仍然很深。王导为联络南方士族，常常学说吴语。北方士族骄傲自大，他的讽刺王导没什么特长，只会说说吴语。王导向南方士族陆玩求婚。陆玩推辞说，小山上长不了大树，香草臭草不能放在一起，我不能开乱伦之先。义兴郡今（江苏宣兴）强族周玘因被北士轻侮，准备起兵杀北方士族，败兵后忧愤而死，并嘱咐儿子周勰要报仇雪恨。周勰纠集了一些怨恨北方士族的豪强束谋攻王导、刁协等人。事败后，王导并不追究。为争取南北士族间的平衡，王导采取了十分忍让的态度。
王导除了争取南方世族支持司马睿中兴晋室之外，还鼓励北方南下的大族坚定信心，合力协助司马睿定安南方。北方战乱以来，避乱南渡的北方世族很多。琅邪国随司马睿一起南渡的就有近千户，中原士族南下的也有十分之六七。王导建议司马睿要同时安抚好南、北两方的士族们，以获得他们的支持。司马睿听取了王导的意见，选用了一百多北方名士担任官职，如汝南人周岂页、渤海人刁协、颍川人庾亮等。王导还制定了侨寄法，在南方士族势力较弱的地区设立侨州、侨郡、侨县，安置北方而来的士族与民众。这种侨州郡县大都在丹阳、晋陵、广陵等郡境内，形势上可护卫建康，又可使北方流亡士族仍在寄居地管辖逃来的民众，使流民得以安置。
北方官僚士族初到南方时，对司马睿振兴晋室表示怀疑。谯国（今安徽亳县）人桓彝，原为西晋骑都尉，初来时见司马睿势单力薄，对周岂页说：“因为中原战乱，我才来到这里避难。不料如此不济，看来前途不佳。”以致忧心忡忡，和王导谈话后，知道他有些办法，才安心任职。一次，名士们到江边的“新亭游宴，周岂页目睹了长江美景之后，叹息说：“风景没有变，只是黄河边成了长江边！”在座的北方人士都哭了起来。王导也在座，他正色道：“大家应当共同努力辅佐王室，克复神州，何至于像楚囚一样那样对泣呢！”名士们听了都停哭认错。心里逐渐踏实下来。于是，人们就把王导称为管仲式的人物，心里逐渐踏实下来。
由于王导、王敦等的辅佐，司马睿在南北世家大族中的威望剧增。西晋之前，司马睿虽名为琅邪王，但已控制了长江流域的荆、扬二州，成为司马氏中唯一强盛的诸候王。西晋亡后，司马睿政权中的官僚纷纷上书拥立司马睿为皇帝，在北方忠于晋室的汉族官僚刘琨，及乌丸、鲜卑族贵族一百八十人也上书劝解。晋大兴元年（318年），司马睿称帝。登基之日，司马睿登上御床，并叫王导与他一起就坐，共受百官朝拜。王导再三推辞，司马睿才独自坐到皇帝座上。
新建的东晋王朝，是在王氏家族的一手扶持，和在南北世族大家的支持下建立起来的。王导身历元、明、成三帝，辅政执权，推行政务求清的政策，相对保证了东晋的稳定发展。
三定江南
西晋后期，江东大族豪强先后三次使用武装镇压当地的农民起义军和割据势力，史称“三定江南”。
太安二年（303年）五月，西晋朝廷强行从荆州征兵派往益州镇压秦雍流民起义，被征募的百姓不愿远徙，在义阳蛮族为人张昌的领导下举行起义。起事后攻张昌更名李辰，自命相国，扶立山都县吏丘沈为天子，并为其更名为刘尼，谎称汉宗室后嗣，建立政权，设置百官。江沔间一时蜂起，竖牙旗，鸣鼓角，从者如归，一月间竟达30000人。后张昌率领起义军打败西晋官军，阵斩平南将军羊伊、镇南大将军新野王司马歆等，西晋官军“征镇不能讨，皆望尘奔走”。此后张昌别将石冰领兵东进江、扬二州，击走扬州刺史陈徽，攻占孙吴旧都建邺，诸郡都被攻克。临淮人封云也起兵响应，等地攻大徐州。八月，在西晋官军的猛烈进攻下，张昌战败于江夏，而石冰、封云仍然在扬、徐坚持战斗，同时起义军将领抗宠屯兵会稽，赵龙马屯兵芜湖，孟徐、陆等屯兵庐江。当时江东大族豪强实力非常雄厚，他们拥有“牛羊掩原隰，田池遍布千里”的庄园，庄园里“僮仆成群，闭门为市。”为了保卫自身利益，江东大族周玘等联合起来，组织地主豪强武装，与起义军对抗。十二月，周玘与前南平内史王矩同推随前吴兴太守顾秘任扬州九郡都督，主管军事，发檄诸郡，杀死石冰任命的将军。于是，周玘起兵于义兴、贺循起兵于会稽，华谭、甘卓、葛洪也都纷纷起兵攻打起义军。石冰派遣将领羌毒率兵数万抵周玘，兵败被杀。石冰则进军寿春（今安徽寿县），西晋都督刘准惊慌失措，无计可施。这时，广陵度支陈敏督运粮、兵在寿春，向陈准请战，陈准增拨一部分兵力给陈敏，命令他出战。陈敏与石冰交战几十次，打败石冰，与周玘联合兵力围攻建邺。第二年三月，石冰北上投奔封云，封云手下的司马张统叛变，杀了石冰、封云出来投降，扬、徐农民起义终于在江东大族与西晋官军的联合镇压下失败了。“一定江南”后，陈敏因军功升迁广陵相，而周玘、贺循等不言功受赏，各自散众回家。
掐丝珐琅兽当时北方大乱方殷，无暇顾及江东。陈敏自以为勇略无敌，暗中有割据江东的野心。永兴二年（305年）十二月，执政司马越任命陈敏为右将军、前锋都督，委以漕运江南粮食供应朝廷之任，陈敏拥兵屯割据历阳（今安徽和县）。适逢吴王常侍甘卓弃官往东归陆至历阳，与陈敏他互相勾结，缔结婚姻，使甘卓假传皇太弟令，拜陈为扬州刺史。为笼络江东大族豪强，他又拜顾荣为右将军，贺循为丹杨内史、周玘为安丰太守。江东大族豪强、名士加将军、郡守等40余人。接着，陈敏派其弟陈恢等南侵江州，赶走原江州刺史应邈；派其弟弟陈斌东略诸郡，赶走原扬州刺史刘机、丹杨太守王广等。陈敏占领建邺后，又让部属推举自己为都督江东诸军事、大司马、楚公、加九锡，进而声称亲受皇帝诏命，（今南京）北上奉迎銮驾。江东大族需要有一个像孙权兄弟那样的人物雄踞江东，以保障他们家族的利益，但他们对陈敏及其子弟才智不足而骄横跋扈有余感到失望，周玘称病不就职，贺循佯狂得免，顾荣还在犹豫观望。永嘉元年（307年）二月，司马越的幕僚华谭写信给顾荣等说：“朝廷以陈敏功微，授以上将之任，而他逆天而动，阻兵作威，上辜负朝廷宠授之荣，下负宰相信任之思惠，虽有长江之险，实际危如朝露。吴郡、会稽二地的仁人并受国宠，或剖符名郡，或列为近臣，而更辱身奸人之朝，降附叛逆之党，难道不感到害羞吗？孙坚父子都是英杰之才，今陈敏才七第顽冗、六品下才，诸君竟俯首听命，乃自甘其辱，一旦六军清定建邺，将有什么脸面复见中州人士？”顾荣等人接到书信，脸上皆有愧色。于是，周玘、顾荣派人使密报都督刘准，请他派兵临江，他们将在内部策应。陈准派刘机等领兵讨伐陈敏。陈敏以其弟弟广武将军陈昶守卫乌江，以弟弟历阳太守陈宏守卫牛渚。广武将军府司马钱广是周玘同郡人，周玘指使他杀死陈昶，然后宣布已经杀死陈敏，如有敢妄动者诛灭三族。钱广驻扎于朱雀桥南，陈敏遣甘卓讨伐钱广，配以精锐甲兵。顾荣与周玘私下里对甘卓说：“如果江东割据够成功，我们应当共同赞助，但今天看来必败无疑。我们接受陈敏官禄，事败之日，必将被斩首送往洛阳，题曰逆贼顾荣、甘卓之首。这不仅是身败名裂，而且辱及万世，岂能不改弦更张！”甘卓听从了二人的话，遂称有病，迎女还家，与顾、周及纪瞻一同发兵攻击陈敏。顾荣军的士卒对陈敏军的士卒喊话道：“你们替陈敏拼命，本是因为有顾、周，现在他们和陈敏已经分道扬镳了，你们还为谁卖命？”陈敏军众开始还有些迟疑，一见到顾荣挥动白羽扇，便一哄而散。陈敏单骑逃窜，终被追获，被斩于建邺。“二定江南”为东晋的建立开辟了道路。这年九月，琅邪王司马任安东将军、都督扬州江南诸军事、假节，移镇建邺。
吴兴人钱王会，因起兵讨伐陈敏有功，被司马越授以建威将军之职。永嘉四年（310年）二月，洛阳告急，司马越擢升钱王会为建武将军，令钱赶去率部众入洛阳增援。同时被征入洛阳的还有扬州刺史王敦。钱王会率军进抵广陵，听说刘聪大军已经逼近洛阳，心生恐惧，按兵不动。司马睿督促甚急，限以军期，钱王会于是谋反，企图先杀王敦。王敦知道后逃回建邺，钱王会于是杀度支校尉陈丰，焚毁粮仓，自称平西大将军、八州都督，劫持孙皓的儿子孙充，立为吴王，后又杀掉孙充，率军渡江南下进攻义兴。司马睿派遣将军郭逸、都尉宋典等讨钱王会，但都因兵少不敢接战。三月，周玘又率领当地地主武装增援郭逸，很快消灭钱王会。这就是“三定江南”。
闻鸡起舞
当匈奴贵族横行北方、西晋王朝面临崩溃的时候，晋朝有一些有志气的将领还坚持在北方战斗。刘琨就是这样的杰出代表。
刘琨年轻的时候，有一个要好的朋友叫祖逖。在西晋初期，他们一起在司州做主簿，晚上，两人睡在一张床上，谈论起国家大事来，常常谈到深更半夜。
一天夜里，他们睡得正香的时候，一阵鸡叫的声音，把祖逖惊醒了。祖逖往窗外一看，天边挂着残月，东方还没有发白。
祖逖不想睡了，他用脚踢踢刘琨。刘琨醒来揉揉眼睛，问是怎么回事。祖逖说：“你听听，这可不是坏声音呀。它在催我们起床了。”
两个人高高兴兴地起来，拿下壁上挂的剑，走出屋子，在熹微的晨光下舞起剑来。
就这样，他们一起天天苦练武艺，研究兵法，终于都成为有名的将军。
公元308年，晋怀帝任命刘琨做并州刺史。那时候，并州被匈奴兵抢夺杀掠，百姓到处逃亡。刘琨招募了一千多个兵士，冒着千难万险，转战到了并州的晋阳。
晋阳城里，房屋被焚毁，满地长着荆棘，到处是一片荒凉。偶然见到一些留下来的百姓，已经饿得不像样子了。
刘琨看到这种情况，心里很难过。他命令兵士砍掉荆棘，掩埋尸体，重新把房屋城池都修复起来。他亲自率领兵士守城，防备匈奴兵的袭击。他还采取计策，让匈奴的各部落互相猜疑。后来，有一万多个匈奴人投降了刘琨，连汉主刘渊也害怕了，不敢侵犯。
刘琨把流亡的百姓都召回来耕种荒地。不到一年时间，到处可以听到鸡鸣狗叫的声音，晋阳城渐渐恢复了繁荣的景象。
刘聪攻破洛阳之后，西晋在北方的兵力大多被打散了，只有刘琨还在并州一带坚持战斗。晋愍帝在长安即位后，派人封刘琨为大将军，要他统率并州的军事。
那时候，汉国大将石勒，占据了襄国，集结了几十万大军，想夺取并州。刘琨南面有刘聪，北面有石勒，前后受敌，处境困难到了极点。可是刘琨没有害怕，没有退缩。他在给晋愍帝的一份奏章里说：“臣跟刘聪、石勒，势不两立。如果不讨平他们，臣绝不回朝。”
据说，刘琨在晋阳的时候，有一次，晋阳被匈奴的骑兵层层包围。晋阳城里兵力太少，没有力量打退敌人。大家都感到惊慌，刘琨却仍然泰然自若。到了傍晚，他登上城楼，在月光下放声长啸，声调悲壮。匈奴的骑兵听了，都随着啸声叹息。半夜里，刘琨又叫人用胡笳吹起匈奴人的曲调，勾起了匈奴骑兵对家乡的怀念，伤感得流下眼泪。天快亮的时候，城头的笳声又响了起来，匈奴兵竟自动跑散了。
