杨坚废除六官制度，在中央行政机构中实行“三省六部”制。三省即尚书省、中书省、门下省。六部即尚书省下设的吏部、礼部、兵部、都官部、度支部、工部。
尚书省的前身是秦、汉时的尚书署，隶属于九卿中的少府，专门掌管收发皇帝诏命及臣下奏章。东汉时，尚书署被改称尚书台，职权较秦、汉时有所扩大。各级官府的奏章全都呈送到尚书台，由它拆阅、判定、记录、转呈、代奏。它负责将皇帝的命令拟成诏旨，直接发给三公九卿。还负责官吏的选举、任免、考课等，同时还兼管国家的刑狱。此时的尚书台，名义上虽仍属少府，实际上已成为管理国家行政事务的行政中枢机关。到了曹魏、两晋时，尚书台又被改为尚书省。这时的尚书省，组织机构已逐渐完备，尚书令、左右仆射为尚书省最高行政长官，总领省务，参议国政。尚书又下列各曹，而且各有分工，分别掌管国家的官吏任免、军事、财政、民户、礼仪、国家工程等事务。但此时的统治者为了防止尚书省权力过重，便将纳臣下奏章、代皇帝批诏令的权力转移到中书省。到东晋、南朝宋、齐时，尚书省的权力又有所加重，所以南朝梁、陈，又开始加重中书省的权力，以限制尚书省的权力。在北朝，北魏初即仿晋制设尚书省，到魏孝文帝改制后，尚书省已成为全国的行政中枢机构。
中书省是三国时期魏文帝初年所设置的宫廷政治机构。它虽不是朝官，但权力极重。它的设立，起初主要是为了削弱尚书省的权力，使权力趋于均衡，从而使皇帝能够更好地控制政权。它主要负责为皇帝拟诏，代皇帝发令，替皇帝接纳裁决臣下奏章等事务。在西晋时，皇帝的机密诏令，甚至可以不经尚书省，直接发到州郡。由于中书省的权力超过了尚书省，到东晋时，纳奏、拟诏、出令等职权又被皇帝转给门下省，中书省的长官中书监、中书令皆变为闲职。到南朝时，中书省的中书通事舍人权力逐渐加重，由他们组成的舍人省，名义上是宫廷官职机构，实际上已成为国家的政务中枢。
门下省在魏、晋、南朝初期是门下诸省的泛称。东汉时，宫中有侍中寺，是门下三寺之一。三国曹魏、两晋时，宫中黄门下设侍中省和散骑省，东晋时又增设西省，于是便开始被泛称“门下三省”。此时，门下三省的权力已明显加重，它代替了中书省行使纳奏、拟诏、出令的职权。南朝刘宋时，门下的散骑省被改称集书省，主管图书文翰，权力被减轻。南朝萧齐、梁、陈时，门下省又专指寺中省，其职责除领内侍诸署、侍奉皇帝生活起居、侍从左右傧相威仪、顾问应对等以外，还兼管纳奏、封还、出令、驳奏，同时又负责审核中书省所拟皇帝草诏，上呈臣僚奏事，下传皇帝旨意。如有密奏、密诏，可不经中书省、尚书省，直接封转颁行。到北朝、北魏末、北齐时，门下省权力已极重，当时对门下省有“政归门下”的说法。
可见，中书、门下、尚书三省在魏晋南北朝时，已初具雏形，而且都具有重要的地位。虽然它们的权力地位有过变化，但中书制定诏令、门下评议国政、尚书具体执行的职能已大体确定了下来。
杨坚正是参酌这些变化，在中央确立了“三省六部”制。不同的是，杨坚为避其父杨忠的名讳，而将中书省改名为内史省，将侍中改为纳言。另外，除三省六部外，杨坚还设立御史台、都永台和九寺（其中包括太常寺、光禄寺和宗正寺等），以及国子寺和监察国家工程和生产的机构。这些官署的主要官员都有规定的称号和各级属员人数，对每个官署任职官吏所必需的官品也做了具体规定。
杨坚建立的“三省六部”制机构，是一个庞大的、权力比较集中的组织机构。在这个机构中，缺少汉代官僚制度中一个最高级的关键位置——丞相。而实际上，杨坚本人就担任着这个角色。
对杨坚刚刚建立的隋王朝来说，真正的问题在于吸收新的精英，吸收充实各级官署、分担隋王朝面临的重大任务和与隋共命运的人。在吸收官员的过程中，新的政体必须考虑到各种各样性质不同的因素。地方利益和地区对立在长期的分裂和战乱之后非常牢固。有牢固地位的豪门大族往往代表他们自己的和本地区的根本利益。因此在文官政府和长期占支配地位的军人两者之间必须找到某种平衡，汉族和鲜卑之间的裂痕在其他一切有冲突的利益集团之间普遍存在——他们之间的矛盾由于长期通婚和制度汉化而逐渐缓和，但仍存在潜伏的紧张状态随时都能爆发成对抗战争。最后，杨坚还考虑到，在有政治经验的人中还存在忠诚的问题。有的人在北周胜利前曾在北齐任职，因此，被任用者对隋的忠诚程度如何？所有这些都常常困扰着杨坚。
因此，杨坚决定不设丞相这个职位，他宁愿亲自与三省的高级官员讨论政务。
帮助杨坚夺权或在很早就拥护他的核心集团成员不但参与隋王朝政策和制度的制定，而且是吸收广大行政精英的积极代表。这个集团的形成以高颍、杨素、苏威和李德林为核心成员。所有的成员都是三省的高级官员，都有资格参加廷议和商讨重大国事的会议。这一核心集团主要由精于骑射和重武的强悍无情的人、有才能的将领和经验丰富的行政长官组合而成。他们中大多数人的儒家学识是粗浅的，其中只有一个人——李德林是完全够格的文人，他来自东部平原，受过扎实的汉文化和历史的教育。
对于中央政府中的其他官员，杨坚从一执政开始，就决心集权，这一政策毫无保留地表现在他设立的权力机构中。对五品以上官员的任命，由朝臣先选出候选人向杨坚推荐，如果得到杨坚的批准，就下诏书任命。以这种方式选用的官员在整个王朝的上层——三省、六部、御史台和九寺等机构任职，各部属员则由吏部选定。当时，吏部为任命六品以下一般官员的主要机构，因而吏部的尚书和侍郎是王朝中很有权势的人。
“三省六部”制的实行，使三省之间相互牵制，一方面体现了决策程序的合理性；另一方面也有利于皇帝控制操纵，便于皇权的加强。同时，“三省六部”制的实行，对隋以后所有封建王朝的官僚政治制度起到了一锤定音的效果。
