高拱因凶狠暴躁被弹劾去官，徐阶也离职去官，李春芳成为内阁首辅。没有多久赵贞吉进入内阁，轻视张居正。张居正与故旧友好掌管司礼监太监李芳合谋，召用高拱，使他负责吏部，以扼制赵贞吉，而夺李春芳权力。高拱到任后，更加与张居正友好。李春芳不久引退，陈以勤也自行引退，而赵贞吉、殷士儋都被诬陷罢了官，只有张居正与高拱在内阁，两人的关系更为密切。高拱主张封贡俺答，张居正也赞成，并将治边的策略教给王崇古等人。封张居正为柱国、太子太傅。六年考满，加少傅、吏鄣尚书、建极殿大学士。因辽东战功，加太子太师。边境互市成功，再加少师，其余官衔如故。
当初，徐阶既已去位，令三个儿子恭恭谨谨地跟随张居正。但是高拱很怀恨徐阶，唆使言官不断追究弹劾，徐阶的几个儿子多被治罪。张居正从旁向高拱为徐阶说情，高拱有些动心。而高拱的门客诬陷张居正接受徐阶儿子3万贿金，高拱为此责备张居正。张居正一听脸色大变，指天为誓，话说得非常沉痛。高拱当即表示道歉，说自己不了解情况，两人的交情于是疏远。高拱又与同张居正友好的太监冯保有矛盾。宗皇帝患病时，张居正与冯保密商处理后事，拉拔冯保充当他在内廷的助手，而高拱却想除掉冯保。神宗皇帝即位，冯保用两宫皇太后的诏旨驱逐高拱。张居正于是代替高拱成为内阁首辅。神宗皇帝在平台召见张居正，对他加以奖赏勉励，赐给金币及绣蟒斗牛服。从此赐赏不断。神宗皇帝虚心重用居正，居正也慷慨地以天下为己任，朝廷内外都想望他的风壁。居正劝说神宗皇帝遵守祖宗制定的制度，不必多作更改，至于讲学、亲贤、爱民、节用都是当务之急。神宗皇帝说这些意见很好。考核廷臣时，罢免不称职的以及依附高拱的人，再用诏旨在朝廷召集群臣严加整饬，文武百官都胆战心惊不敢出声。皇帝应当尊敬崇奉两宫皇太后。按照过去的制度，皇后与皇帝的生母并称为皇太后，而徽号则有所区别。冯保想讨好神宗皇帝的生母李贵妃，暗示张居正将两宫太后并加尊崇。张居正不敢违背，议定尊崇皇后为仁圣皇太后，皇贵妃为慈圣皇太后，两宫的徽号于是没有差别了。慈圣迁居乾清宫，抚养照顾神宗皇帝，宫内的事务委任冯保，而把国家大权全部交给张居正。张居正执掌朝政，以尊崇皇权、考核官吏、明信赏罚，统一号令为主。虽然在万里之外，早晨下令，到了傍晚即得到施行。黔国公沐朝弼多次犯法，应当逮捕，朝臣商议以为难办。张居正提拔重用沐朝弼的儿子，迅速遣使去抓他，沐朝弼不敢反抗。沐朝弼到京师以后，张居正请免其死，禁锢于南京。运漕粮的运河修通以后，张居正根据每年赋税都是过了春天以后才起运，河流发水横溢，不是决堤便是干涸，于是采纳漕臣的意见，督令漕船的运军在冬十月兑运，到明年初全部发完，减少了水患的祸害。经过长期实行这种办法，太仓库的粮食储备充足，可以使用十年。通过边境互市增添了马匹，于是减少太仆寺的种马，而令百姓用银按价折纳，太仆寺也由此积蓄了四百余万两的银子。又用考成法督责吏治。起初，部、院复奏行令巡抚、巡按查勘的公事，经常拖延不报。张居正命令按照大小缓急为期限，违误者要抵罪。从此，一切都不敢文过饰非，政体肃然。南京小宦官酒醉侮辱给事中，言官请追究治罪。张居正把其中尤为激烈的赵参鲁降调到外地以讨好冯保，而后慢慢劝说冯保制裁抑止他的党羽，不要干预六部的事务。对奉命出使的太监，时常令缇骑暗中监视他们。冯保的党羽因此怨恨张居正，并且在心里不依附冯保。
张居正因为御史在外面，往往欺凌巡抚，决心想惩治他们。遇事稍为处理不妥，责驾之声随下，又令他们的长官加紧考察他们。给事中余懋学请实行宽大的政策，张居正认为是讽刺自己，夺了他的官职。御史傅应祯继而提出这个问题，而且说得更为中肯迫切。张居正把他关人诏狱，杖打充军戍边。给事中徐贞明等人成群拥人监狱，带着衣物、饭食看望傅应祯，也被逮捕贬到外地。御史刘台巡按辽东，误奏捷报。张居正准备根据以往的典章制度制裁和督责他，刘台却抗命上奏批评张居正专横恣肆不守法度，张居正十分愤怒。神宗皇帝为此把刘台关人诏狱，命令杖打一百，流放到边远地区充军戍边。张居正在表面上假意上疏申救他，仅夺了他的官职。过了不久，还是把他流放充军。由此，各位给事中和御史更加害怕张居正，而心里一直愤愤不平。
当时，皇太后因为神宗皇帝年幼，对张居正非常尊敬和有礼貌，与张居正一起在内阁共事的吕调阳不敢发表任何不同意见。到吏部左侍郎张四维进入内阁时，更是恭恭敬敬地像他的下属一样，不敢以同僚自居。
张居正喜欢建功立业，能够运用智谋和权术驾驭他的下属，人们多愿意为他尽力效劳。俺答和明朝政府在边境互市成功以后，很久没有入犯扰害。唯独小王子的部众十余万人，从东北直至辽东，因没有获得通贡互市，数次人边劫掠。张居正用李成梁一镇守辽东，戚继光镇守蓟门。李成梁奋力作战打退敌人的进攻，积了很多战功以至被封为伯，而戚继光的守备设施也甚为周到。张居正都很支持他们，边境晏然无事。两广督抚殷正茂、凌云翼等人也多次打败贼寇有战功。浙江的士兵和民众再次叛乱时，张居正用张佳胤前去安抚立即平定，所以世人都说张居正知人善任。然而他执法非常严厉。查核驿递，裁减冗官，清理学校，淘汰了很多人。公卿和众吏不得乘坐驿站的车马，与外出经商的商人没有区别。因为衙门官员减少，需要依次提升的人总是得不到补缺。大县的学生因名额太少，很难进取。也有很多人埋怨张居正。
当时天下太平已经很久了，各地的盗贼像刺猥的毛那样繁多，纷纷起来闹事，直至进入城市抢劫仓库。有关部门往往不敢禀报这类的事情，张居正严厉禁止这种做一法。隐瞒不报的，即使是勤政廉洁的官吏也必须革职开除。抓到盗贼立即斩死，有关部门不敢掩饰实情。盗窃边防、海防地区的银钱和粮食数额巨大的，按例都要斩首，然而以往常常是长期关押或者病死在狱中。只有张居正极力主张马上处斩，而且要追究逮捕他们的家属。盗贼为此衰败平息。但是执行这些命令感到不方便的人，相继为此发出怨言，张居正从不怜悯他们。
慈圣太后即将回慈宁宫，告谕张居正说：“我不能早晚照护皇帝，恐怕他不像从前那样向学、勤政，有负于先帝的付托。先生负有师、保的责任，与各位大臣不同。请你代替我朝夕教诲他，以辅助他有更好的品德，如此才能始终不辜负先帝临终时托付的情谊。”为此赐给坐蟒、白金、彩币。不久，张居正为父亲去世丁忧。神宗皇帝派遣司礼监的太监去慰问张居正，劝他吃饭服药，不要过分哀伤痛哭，前往看望的使臣络绎不绝，三宫送给他帮助办理丧事的礼物甚为丰厚。
户部侍郎李幼孜想讨好张居正，建议他不要离开职位回家守丧，张居正被此议说动。冯保也坚持留下张居正。各位翰林官王锡爵、张位、赵志皋、吴行、赵用贤、习孔教、沈懋学等人都以为不可这样，张居正不听。吏部尚书张瀚因为抵制皇帝慰留张居正的诏旨，被张居正斥逐去职。御史曾士楚、给事中陈三谟等于是纷纷上疏请留下张居正。吴中行、赵用贤以及员外郎艾穆、主事沈思孝、进士邹元标相继为此抗争，结果他们都受到廷杖，分别被罢斥和发配充军。此时慧星从东南方出现，长长地横贯在天空中。群情动荡不安，手指目视责备张居正，至于在通衢大道上张贴诽谤他的文章。神宗皇帝诏令群臣，再提及这事的一律杀死决不赦免、诽谤的事才得到制止。于是指派张居正的儿子，编修张嗣修和司礼监太监魏朝为专使乘坐驿站的车马前去代表张居正主持丧礼，礼部主事曹诰负责祭祀，工部主事徐应聘负责办丧事。张居正请求不到朝堂，以穿青衣、素服、角带到内阁处理政务，侍候经筵讲读，又请求辞去年俸。神宗皇帝准许他的请求。到神宗皇帝举行大婚典礼时，张居正穿吉服办事。给事中李涞说他这样做不符合礼法，张居正发怒，把他调到外地当佥事。当时神宗皇帝更加眷顾和尊重张居正，常常赐给张居正御札，称“元辅张少师先生”，用对待老师的礼节对待他。
张居正请求回家葬父，神宗皇帝令尚宝少卿郑钦、锦衣指挥史继书护送回去，期限3个月，安葬完毕立即上路回朝。还命令巡抚、巡按等大臣先期驰往赐给玺书敦促。又铸“帝赉忠良”银印赐给他，依照杨士奇、张孚敬的例子，可以密封言事。同时告戒内阁次辅吕调阳等人：“遇有大事不可专断，把公文由驿站驰送到江陵，听张先生处理。”张居正请增加内阁成员，神宗立即下诏令张居正自己推举。张居正因此推举礼部尚书马自强、吏部右侍郎申时行人内阁。马自强历来不顺从张居正，自己没有想到会得到他的推举，对张居正颇为感恩戴德，而申时行与张四维都是主动和张居正亲近，张居正才安心地回去。神宗皇帝以及两宫皇太后赏赐和慰谕都大大超过常礼的规定，派遣司礼监太监张宏在郊外陈设帷帐饯行，文武百官班列相送。张居正所要经过的地方，有关部门都命令备好食宿车马，整治道路。辽东打仗奏报大捷，神宗皇帝再归功于张居正。派使者驰送诏旨，让他评定爵赏。张居正拟出方案上报。吕调阳更加感到内心惭愧，坚持卧病不起，一再上疏恳乞退休不出来办事。
