门阀世族作为一个特权阶层的崛起,与魏晋时期的政治变动有着很大的关系。他们是当时社会动荡、政权频繁更替、权贵夺权自立等一系列社会变动的产物。从曹魏前期九品中正制的确立到后期的“给公卿以下租牛客户,数各有差”政策,从孙吴的给田复客制度到西晋太康元年(280)对百官依品级高低占田荫客荫族的特权的正式规定,门阀世族一步步地依靠他们扶植起来的皇权使自己的特权合法化、制度化了。他们可以荫庇亲属,收揽门生故吏,享受种种政治和经济特权;他们虽然严格地保持着与庶族地主的距离,维护着自己的特权和等级,但是只要当权者对他们的政治依赖有所削弱,他们的名望、声势和地位也必将随之下降。
南北朝时期,虽然门阀世族还保持着一定的影响力,还享受着安逸腐化的寄生生活,但他们的地位越来越开始受到皇权的威胁了。北魏前期的政治中心在北方草原地区,后来又注重于自己内部的汉化调试,因此汉族门阀世族并没有太多插手的机会,而南方的刘裕、刘义隆父子,也更注重于休养生息,改变策略,寻求社会发展,因此留给门阀世族发挥能力的空间越来越少了。与此同时,长期过着寄生生活的门阀世族也越来越腐化不堪,腐朽无能了,他们不但无心,也无力关心政治,而且他们甚至都已经失去了其先辈们攫取特权的那种欲望,因此,这个寄生的阶层随着社会环境的变化越来越不能适应生存了。
到南北朝后期,随着北方周武帝、南方梁武帝等一些比较有作为的皇帝励精图治的改革,一批批的寒门俊秀被选拔到了政治高层。梁武帝曾置五经博士,并规定“五馆生皆引寒门俊才,不限人数”,“虽复牛监羊肆,寒品后门,并随才试吏,勿有遗隔”,这就使得寒门士子有了进入仕途的资格和机会,对门阀世族独断朝政的地位构成了极大的威胁。而此时的北朝,由于北魏门阀制度推行之初就没有给与他们过高的特权,而且北朝社会非常注重军功,因此随着社会的发展,人才也逐渐转向从庶族地主中选拔,形成了士庶竞技的局面。
总之,自南北朝后期起,门阀制度开始走向衰落了。世族在官吏选拔与任用上所享有的特权逐渐被削弱,而庶族在各级政权中所占的比例也在逐渐增加。更重要的是,选拔出来的庶族人才,不论在能力上还是意志上,都是那些腐朽无能的寄生阶层无法企及的。因此,长期以来依靠门第选择官吏的制度逐渐松懈了,士庶之间的清浊之分也逐渐淡化了。当门第不再作为一个选官优先权的标志的时候,门阀世族制度也就走到了尽头。隋朝建立之后,科举制的建立和逐渐完善完全取代了门第等级制度,门阀世族制度终于退出了历史舞台。