1949年10月19日，中央人民政府宣布成立中国科学院，任命郭沫若为院长，李四光、陶孟和、竺可桢为副院长，后来又补充任命吴有训为副院长。中国科学院成立后的第一件工作，是接收和调整旧有的科学研究机构。
李四光回到北京不久，就参加了中国人民政治协商会议第一届全国委员会第二次会议，同时还参加了高教会议、中国科学院常务扩大会议。高教会议期间，毛泽东主席接见了会议代表。毛主席问候并赞扬了李四光，他说：
“李四光先生，你回来了，欢迎你。你在政协上的发言讲得很好！”
1950年6月20日，正式召开了中国科学院第一次院务扩大会议。各学科专门委员会委员能到会的只有33人。会议期间，朱德总司令和周恩来总理到会讲了话。朱老总对各位科学家在新中国成立前的困难条件下仍能坚持岗位，辛勤工作表示敬意。他说：
“今天推翻了三座大山，科学研究工作的前途更是光明了。但是，目前还有困难，还不可能百废并举。科学家要不分领域，通力合作，有重点有计划地配合国家经济建设需要，为人民服务。”
周总理在讲话中举出了作家老舍在政协会议上讲的一句话：“过去的时代，文人相轻，现在的时代，文人相爱。”勉励科学家不要妄自菲薄，也不要清高，要互相信任，看到人家的长处，承认自己的短处。人与人间如此，机构团体之间也要如此。他还建议科学家有时间的话，可以看看毛泽东主席关于整顿三风的报告。李四光听了周总理的报告后，从多方面自觉地按照总理指示去做。
1950年6月26日，李四光作了自我批评性的发言，立下“要向共产党人学习”的志愿。
1950年8月17日，中华全国自然科学工作者代表大会在北京胜利召开，这是新中国成立后，也是中国有史以来第一次全国自然科学工作者团结的大会。李四光出席了这次大会，并以中国科学院副院长的身份作了题为《新中国的科学研究》的报告。在这次大会上，李四光被推选为“中华自然科学专门学会联合会”（简称科联）主席，侯德榜等被推为副主席。
李四光还肩负着周恩来总理交托的组织全国地质工作者的任务。旧中国有3个全国性的地质机构，“中央地质调查所”、“中央研究院地质研究所”、“矿产测勘处”，都设在南京。国民党政府南逃时，中央研究院地质研究所以许杰为首的11人，立下留守南京或上海的决心书；“中央地质调查所”尹赞勋等表示，决不跟随国民党政府去任何地方；矿产测勘处谢家荣等也表示不走。为此，保存一定的地质力量、图书资料和仪器设备，是重新组织起来的基本力量。
在当时地质界同仁，对于如何把全国的地质单位和人员组织起来，有分歧意见的情况下，李四光学习了共产党的群众路线，广泛征求地质工作人员的意见，他亲自拟定了一份征求意见的信，发给全国所有的地质工作者，大约发了200多封。信反馈回来了，综合大家的意见，他提出成立“一会、二所、一局”的方案。一会即地质工作计划指导委员会；二所即中国科学院地质研究所、古生物研究所；一局即矿产地质勘探局。
这个意见上报周总理后，并于9月6日经政务院第47次会议通过，同时通过了任命李四光为主任委员，尹赞勋、谢家荣为副主任委员。从此，李四光担负起了全国地质研究、测勘的组织领导工作。全国只剩下200多名地质人员了，但是大规模的经济建设需要各种资源，经高教部和地质工作计划指导委员会共同商议，扩大建立了北京地质学院。李四光亲自兼任北京地质学院筹备委员会主任；建立长春地质学院，后来又在南京大学、重庆大学等6所大学建立地质系，同时还筹办了9所中等地质学校。
1951年4月12日，李四光被推选为世界科学工作者协会执行委员会副主席。5月7日，兼任中国科学院古生物研究所所长，至12月25日，经中国科学院院务常务会议同意，辞去古生物研究所所长的兼职，由斯行健担任所长。
1952年8月7日，中央人民政府委员会第17次会议通过，决定成立地质部，李四光被任命为部长，同时派中央重工业部副部长，老红军何长工担任党组书记兼副部长。当周总理派人来事先和李四光商量建立地质部的有关事宜时，李四光非常高兴，感到这是中央对地质工作的关怀和重视，地质事业将大有希望了。
地质部成立以后，地质力量迅速加强，受过高等教育的地质工作者，等于新中国成立前的60倍，地质队伍发展到20万人。在第一个五年计划里，探明矿种和矿产储量比新中国成立前成倍地增长。地质工作取得了巨大的成绩。
地质部成立后，李四光除担任地质部长外，还担任中国科学院副院长，虽然他曾表示，力不从心，请领导考虑是否可以辞掉一个职务。但经过上级慎重考虑，还是决定他继续担任地质部长和中国科学院副院长的职务。他服从领导的决定，就在中科院和地质部两边跑，有时忙这边的事，有时忙那边的事。
1953年11月28日，中国科学院第40次院务常务会议通过设立地震工作委员会，由李四光兼任主任委员，赵九章为副主任委员。委员会下分设综合、地质、历史等组。李四光曾多次找范文澜先生商谈如何收集分析中国历史上丰富的地震记载，以弥补科学记录不足的问题。
1952年10月，山西崞县发生地震。1954年2月，甘肃山丹地区发生地震。李四光都亲自派人参加调查，听取调查汇报，曾多次参加讨论地震强度和烈度的划分会议。李四光担任地震工作委员会的职务一直干到1955年，才由竺可桢副院长接替。
1954年初，正式成立地质普查委员会，由李四光兼任主任，刘毅担任党委书记，谢家荣、黄汲清为技术负责人。谢家荣和黄汲清在新中国成立前和成立初，都做过石油地质调查。1942年黄汲清就首先提出过“陆相生油论和多期生油论”，1949年9月，谢家荣也提出过：“……要特别注意北满……可能有发现油田的希望。”
1954年12月，国务院决定，从1955年起，加强对石油和天然气的普查和科学研究工作。1956年3月26日，由地质部、石油工业部、中国科学院联合成立全国石油地质委员会，由李四光担任主任委员，副主任委员由许杰、武衡、康世恩担任，作为全国石油地质的咨询机构。
1954年12月25日，在中国人民政治协商会议第二届全国委员会第一次会议上，李四光当选为副主席。12月29日，被推选为中苏友好协会副会长。1955年春，中国科学院成立学部委员会，李四光担任委员。1955年10月20日，中国科学院第45次院务常务会议通过，成立奖金委员会，李四光担任副主任委员。1958年8月，中国科学院成立原子能委员会，李四光担任主任委员；9月25日，中国科学技术协会在北京成立，李四光被推选为主席。
