第二天，即八月初一，颜真卿所派使者化装成平民百姓，怀揣蜡丸上书，绕过叛军盘踞区，也千辛万苦地来到灵武入朝。唐肃宗喜出望外，当廷以颜真卿为工部尚书兼御史大夫，依前河北招讨、采访、处置使。为防途中被叛军劫获，也将敕书置于蜡丸中遣来使带回。颜真卿接到唐肃宗的敕书后缮写若干份，派人分发河北诸郡以及河南、江、淮等地。其时，中原大战，道路不通，消息闭塞，上述地区人们还不知道唐肃宗在灵武即位。当他们见到这份敕书后，才知道了唐室的下落，也才知道太子李亨已登基为帝，由此更坚定了人们保家卫国、盼唐朝中兴的信心。
同日，唐肃宗还以郭子仪为武部尚书、灵武长史、同平章事；以李光弼为户部尚书、北都留守、同平章事，并敕令他领景城、河间兵五千人赴北都太原。这样，唐肃宗就以郭子仪、李光弼同为左丞相，至此肃宗朝的朝班才得以逐步健全，但右相首辅之位仍空。诸朝事一完，唐肃宗喜滋滋地来到后宫，张良娣盛装出迎，也向李亨贺喜。就在唐肃宗夫妻互相道喜称贺时，李亨突然道：“呀，我怎么倒把此人忘了！”张良娣忙问：“是谁？”
却说经张良娣这么一问，唐肃宗反问道：“李泌其人，爱卿难道不记得了？”张良娣嫣然一笑道：“若不是陛下提起，妾身却已忘怀了。”李亨笑道：“爱卿好记性。”张良娣又笑道：“妾身哪敢和圣明睿智的天子比。陛下的意思是招李泌入朝？”李亨道：“正是这个意思。今灵武武有郭子仪等一班武将，足可攻城拔寨；文有裴、李二勉可维护纲常礼制。但要运筹帷幄，决胜于千里之外，则非李泌莫属。”张良娣大喜道：“知人善任莫过于陛下，李泌的智谋臣妾也略知一二。”但她稍停又说：“可这李泌修道多年，云游四海，何处去寻他的踪迹？”李亨说：“听说他在衡山修道。虢王李巨人称善骑射，有谋略，素忠于朝廷，今镇守南阳。朕下制书给他，只要他到李泌修道处去找，想必定可寻其踪迹。”张良娣高兴道：“事不宜迟，陛下何不即刻实施！”李亨说：“爱卿此言，正合朕意。”就于宫中亲笔制书，令李辅国于宫中选一能干中使将敕书送往扶风太守薛景仙处，由他派使务必送交李巨。
李辅国不敢怠慢，于宫中找到自己的心腹、小太监陈振国，令他假扮成商人，身上密藏制书，星夜去往扶风，并告诫说：“此是圣上所遣，关系重大，你务必小心。”陈振国说：“师傅放心，小的决不会误事。”这陈振国当年二十多岁，历来机敏，深得李辅国喜欢。这次派他前去，也是希望通过此举使他在宫中提高知名度，以后可为自己的臂膀。陈振国当然心领神会，决心办好这趟差。从灵武到扶风本不远，陈振国一路小心避开叛军，除吃饭、小憩外即打马赶路，日夜兼程，几日后到达扶风，立即去见薛景仙说明原委，薛景仙说：“公公既已将敕书送到下官处，余事就由下官来办。”陈振国说：“且慢，此事关系重大，我一路走来，情况已熟，太守不防派一精细向导同我前往，我要亲取李泌回灵。”薛景仙知道他是想独得头功，也就不争，便派精干的小校彭至阳陪陈振国到南阳去。因彭至阳是南阳人，路途地理熟悉。二人出了扶风，不日到达南阳，径直到虢王府。陈振国抖着威风一路高叫：“虢王李巨接旨！”李巨忙摆香案面对北跪道：“臣李巨领旨！”陈振国得意扬扬地面南而立宣道：“制曰：虢王李巨务于近日寻访李泌，护送入朝。”李巨接过制书起身对陈振国笑道：“果不出小王所料。”陈振国吃惊道：“难道虢王已找到李泌？”李巨笑道：“实不相瞒，李泌已在我处。公公不要着急，既然不远千里鞍马劳顿到达南阳，不妨先去休息，到时小王还你一个李泌就是。”说着就让亲兵送陈振国去宾馆歇息，不提。
唐肃宗究因如何熟识李泌，李泌又为何在李巨处？此事还得从头说起。却说这李泌祖籍系辽东襄平（今辽宁辽阳北）人氏，其六世祖李弼曾为唐太师，到了他的父亲李承休时，只做得吴房县令。他的母亲周氏为汝南人，李泌的两个哥哥出生时，周氏都连日难产，痛苦不堪。只有李泌出生时，他母亲一梦醒来就顺利降生，因起名“顺子”。李泌幼时就聪明过人，诗书一览即能成诵，所以到六七岁就能诗能文。
开元十六年中元节晚，唐玄宗在御楼召集三教有道之人，举行论坛大会。李泌姑姑的儿子叫员俶，原是唐朝开国元勋员半千之孙，这年才九岁，央求他母亲为他准备了儒生服装，他穿戴齐整偷偷混在儒生队伍中进入御楼。论辩开始后，九岁的员俶突然登上论坛，词辩锋利，其他演讲者为之折服，四座皆惊。唐玄宗大奇，就单独召见员俶，问清家帮姓名后说道：“原来是前朝名士员半千之孙，理应如此。”就又问他：“宫外还有没有像你这样的奇童？”员俶回答说：“草民舅舅的儿子叫顺子，今年才七岁，能诗能文，思维敏捷。”唐玄宗更奇，就问明李泌家的住处，命内宫杨思勖去往城东找到李泌家，把李泌偷偷抱进宫，并告诫他千万不可让李泌的家里人知道。
杨思勖守候在李泌家门口，等他出来后就偷抱他进宫。员俶和时年十三岁的刘晏，都在唐玄宗的身边，正在看唐玄宗和张说下围棋。唐玄宗见杨思勖抱着李泌到来，他端详了一会，就对张说说：“后来者和前面那个孩子（指员俶）大不一样，从仪表相貌看，他日后必为国家栋梁。”张说赶紧随声附和。接着唐玄宗就命张说试试李泌的诗才，张说说：“就以棋局为题，咏方圆动静吧。”李泌眼瞪着张说说道：“愿闻其状。”张说答应后说：“方如棋局，圆如棋子，动如棋生，静如棋死。”张说怕李泌年幼，对他所说的不理解，就教他说：“只能按意虚作，不可再实说出‘棋’字来。”李泌随后答道：“这有何难？随意就更容易了。”唐玄宗听后笑对张说说：“这孩子的聪明才智远大于他的实际年龄。”这时就听李泌吟道：“方如行义，圆如用智，动如逞才，静如遂意。”唐玄宗听后，高兴得捻须仰天哈哈大笑。张说赶紧向玄宗施礼贺道：“这真是太平盛世的嘉端征兆啊，圣上一日见三神童（指刘晏、员俶和李泌），诚可喜可贺！”唐玄宗更喜，伸手把李泌抱在怀里，抚摸着他的头，命太监拿果品给他吃。这时，唐玄宗才派杨思勖通知李泌的家人暂将李泌留在宫中，又命人将他送入忠王府，与时为忠王的李亨为布衣交。比李泌大十一岁的李亨在和李泌的交谈中大奇，口口声声称李泌为“先生”，从此李泌声名大震京师。
唐玄宗把李泌留在宫中达两个多月之久，才让杨思勖送李泌回家，并特准许他随意进入忠王府，又赐他衣物及彩帛，且命杨思勖告诉李承休和周氏说：“孩子太小，赐他官爵恐怕有损于孩子，所以暂不封他官。你家应善待他，好好抚养，日后必为国家栋梁之材。”张说也常把李泌请到家里，让他和自己的儿子张均、张垍交往，他们遂成为朋友，像师友般亲近。时为朝中左补阙的张九龄以及张庭珪、韦虚心等一班朝廷重臣都非常器重李泌，和他多有交往。有一次，时为秘书监的大诗人贺知章在张九龄府上见到李泌后，惊奇道：“这孩子眼如秋水，将来一定能拜相！”
燕国公、中书令张说死后，唐玄宗于开元二十一年（733年）擢张九龄为中书侍郎、同中书门下平章事。一天晚上，张九龄请李泌过府一叙。闲谈之余，张九龄突然想起一事，就倒背双手边踱着方步边自言自语道：“严挺之虽然敢说敢为，但个性太强，别人似不便和他交往。萧诚则性情温和，别人和他就好交往。”说着，就要派人请萧诚来府上一谈。坐在一旁的李泌听到此，忍不住说道：“先生起自于一个普通的读书人，就是因为刚正、直言、进取心强，才深得皇上信任，现至宰相之位。先生如今若打算与萧诚这样的人多来往，岂不是与先生当初的为人处事相违背？”张九龄一愣，惊愕道：“小友言之有理。”就改变了先前的主意。张九龄要比李泌大四十四岁，从此就称李泌为“小友”，两人遂成忘年交。
可能因李泌自幼就受唐玄宗宠爱，名气很大，民间就有了种种传说，给李泌涂上了各种神秘色彩，似乎他天生就和三教有缘，使其渐至成为一个半神半人的人。有人说他母亲周氏很小的时候，有个名叫僧伽的和尚见了她大惊说：“这个女孩日后必嫁到李家，能生三个儿子，最小的那个孩子千万不要给他穿紫色衣服，他日后必由金印紫绶起家，为帝王师。”等周氏怀李泌后，怀胎三年，方才生下他，他一出生头发就已长到眼眉。又有人说，一个有道术的道人见到年幼的李泌吃惊地说：“这孩子十五岁时，大白天定会升天成仙。”这就使李泌的父母又平空增添了一番烦恼，每当他们产生门外或空中有音乐声的幻觉后，就出外向空中大骂，且捣蒜泥和水向空中泼洒。据说神仙很怕污血、葱蒜等腥秽之物，从此就不来了。也有人说，在唐玄宗召见李泌的第二天，张说就传出话来说：“昨天皇上想封李泌为官，我说不行，他还小，这样有损于他，这是爱护他，等他长大成器罢了。”但这种种传说，本是神道论的穿凿附会之言，到后来却引起了权臣李林甫、杨国忠等人的嫉妒，他们惟恐李泌成为他们把持朝纲的障碍，所以总想中伤他及其恩师张九龄等。开元二十七年（739年），年已十七岁的李泌赋诗一首《长歌行》，其曰：“天覆吾，地载吾，天地生吾有意无？不然绝粒升天衢，不然鸣柯游帝都。焉能不贵复不去，空作昂藏一丈夫。一丈夫兮一丈夫，平生志气是良图。请君看取百年事，业就扁舟泛五湖。”诗成后，长安城内竟相传抄。张九龄见诗后告诫他说：“小友幼年早得美名，必会给自己带来挫折。以我之见，小友应韬晦隐才，不可过露。古人都很重视要把自己的本领隐藏起来，到该发挥时才发挥，以做到尽善尽美，何况你还是个孩子呢！小友要想写诗，不防赞风赏景，咏叹古贤，不要自叹其才为好。”李泌深感张九龄诚心相劝，立即表示今后改过。此后，他再赋诗作文，从不言自己。张九龄也更把他作为知己，两人关系日益密切。
正直的首辅张九龄为李林甫、杨国忠所谮罢相后，出任荆州刺史，曾邀李泌在荆州住了一年多，然后劝他游学东都。李泌在洛阳游学期间，就近游历了衡山、嵩山。他自称一天夜里，桓真人、羡门子、安期生来会，他们乘坐的车车帘及旌旗都是用羽毛制成，环绕着流动的五彩云朵和神奇的光彩，照耀得山谷五彩缤纷，直至天将破晓才渐渐散去。他们还教给他修炼的道术，并且告诫他说：“太上有令，国势将危，朝廷之难，你应以文武之道辅佐帝王，待功德遍及天下民众，方可了道成仙。”自此他以世外人自居，大谈神仙怪异，这在他以后的仕途生涯中，成为自觉避开祸端、竭力扶助唐王朝的智术，从而使他成为中唐特殊的忠臣和智士。
天宝初年，李泌回到了京师，小宁王李琎首先把他接到王府，对他格外尊重，毕恭毕敬地口口声声称他为先生，连李琎的姐姐玉真公主也亲切地称他为小弟。他所赋的诗，都被王公贵族们配上乐章到处传抄传唱。其时，忠王李亨已为太子，仍和李泌为布衣交，且以先生视之，李泌就来往于东宫和宁王府之间。太子李亨要表荐李泌为官，他一再固辞，李亨不得不作罢。不久，李泌的父亲死了，其在家守孝，开初只吃素食，后来渐渐减食，骨瘦如柴。他守孝期满，就脱去了孝服，又去游历嵩山、华山、终南山，似要修道。天宝十年（751年），唐玄宗派人入山寻访，召他入宫，李泌献上《明堂九鼎》之奏议，且应制作了《皇唐圣祚》，常在唐玄宗面前讲道谈经，深得唐玄宗宠信，但这又使李林甫、杨国忠等大为忌恨。这时，天下盛传安禄山大修雄武城，储备兵器，广招人马，扩大势力，人们以为安禄山日后必反，李泌有感而发，写《感遇》诗两章。李林甫通过杨国忠、杨贵妃兄妹，在唐玄宗面前诬奏他诽谤朝政，讥讽圣皇。唐玄宗大怒，诏令把他赶出京城，安置蕲春郡（今湖北蕲春蕲州镇西北）。本来，唐朝在这以前是文禁最宽松的朝代，文人写诗作文即便是骂了皇帝也不予治罪。而到了晚年的唐玄宗，只顾淫欲享乐，只因李泌写了两首感遇诗，竟将他赶出了京城，限令其在蕲春郡居住，不得回京。
李泌被安置在蕲春郡后，两次游玩衡山，常常一连多日居于山中不出。当时，衡山的衡岳寺有一位高僧，因他十分懒惰，又喜欢吃人家剩下的残羹剩饭，故人称懒残。懒残喜性如此，人们多不喜欢他，并不以他为高僧。有一天晚上，李泌住在衡岳寺，懒残在后院僧房中诵经，李泌听到一种诵经声先悲后乐，但声震林谷，他大惊，心想，这诵经者必是一位不同凡响的高僧，就不由循声走去，想拜见他。李泌寻到懒残门下，推门进去，却见他骂骂咧咧地仰天躺在地上所铺的乱草上。懒残见李泌进来，只用眼斜看着他呵斥说：“你不要来烦我！”李泌见状，恭恭敬敬地跪在他面前，口称：“弟子李泌拜见大师。”懒残并不理他，半天了才翻身起来，问道：“你就是李泌？”李泌答道：“是！”礼仪更恭。懒残也不再吭声，他转身坐在旁边燃烧的牛粪堆旁，用木棍在火堆中扒拉出一个烧熟的山芋，也不嫌烫，用手掰成两半，慢慢地吃右手拿的那一半。过了很久，他才对李泌说：“过来坐！”李泌就顺从地坐在他身边。他把剩下的一半山芋又掰成两半，把右手拿的那一半递给李泌吃，李泌接过，很快地吃下。懒残这才对李泌说：“不必多言，你当为帝王师，日后领取十年宰相。”李泌只笑着点头，懒残也不再言语。李泌就在衡岳寺住了一个月，天天到懒残房里拜见他，渐渐懒残也和他谈些佛经理道等。
一月后，衡岳刺史派人上山来传言说，将到衡岳来拜祭南岳大帝，又召集民众及工匠修理上山的石道。道路将要完工，忽夜间狂风大作，雷电交加，顷刻间大雨如注，山峰滑坡，大石滚下横在石阶上。第二天，衡岳寺主持雇人用牛拉横在石阶上的大石，又由十数人在后头推，可大石纹丝不动。懒残闻声赶到，喝开众人，他运足了气，只用脚使劲一蹬，大石就骨碌碌滚下山涧，发出雷鸣一般的轰响，震动山谷。在场的人无不咋舌，都一起拜倒在懒残脚下，称他为圣僧。后来懒残不知所终，人们纷纷传言，说他骑虎而去，这些自然都是将其神化了。
天宝十二年（753年），李泌的母亲周氏去世，李泌才得以回家送葬。太子李亨、宁王李琎及王子们都纷纷派人到李家去吊祭，他们都劝慰李泌节哀顺变。李泌一如常礼，逐个答谢。他守孝刚过百日，就不得不离家去往蕲春。
