李密世代都足显官，所以他的出身对他一生的经历起了重要作用。少年时候，被派在隋炀帝的宫廷里当侍卫。他生性活泼，在当差的时候，左顾右盼，被隋炀帝发现了，认为这孩子不大老实，就免了他的差使。李密并不懊丧，回家以后，发奋读书，决定做个有学问的人。
杨玄感因是开国功臣之子，又好读书，善骑射，加上为官严正，所以甚得时人尊敬。大业九年（公元613年）。隋炀帝第二次征高丽时，命杨玄感（时任礼部尚书）在黎阳督运粮草。杨幺感目睹隋炀帝的暴政激起全国人民的不满，农民起义蜂起云涌。而炀帝又率隋军主力远在辽东前线，后方兵力空虚。于是，便抓住取隋代之的这一良机策划起兵。杨玄感派人到长安，把李密接到黎阳来。
杨玄感向他请教：要推翻隋炀帝，这个仗该怎么打法。李密说：“愚有三计，第一，皇上现在在辽东，我们带兵北上，截断昏君退路。他前有高丽，后无退路，不出十天，军粮接济不上，我们不用打也能取胜，这是上策。第二是向西夺取长安，抄他们的老巢。官军如果想退军，我们就拿关中地区做根据地，凭险坚守，这是中策。第三是就近攻东都洛阳，不过这可是一条下策。因为朝廷在东都还留着一部分守兵，不一定能很快攻得下来。”杨玄感急于求成，听完这三条计策，觉得前两条都人费时间，说：“我看你说的下策，倒是个好计策。”杨玄感立刻从黎阳出兵攻打东都，一路上，有许多农民踊跃参加起义军，队伍扩大到十万人，接连打了几个胜仗。隋炀帝正在带领大军猛攻辽阳，得到告急文书，连夜退兵，派大将宇文述等带领大军分路攻杨玄感。杨玄感抵挡不住，想往西退到长安去。字文述带兵跟踪追击，最后，把杨玄感的人马围住。杨玄感没路可走，终于被杀。
李密在混战巾逃脱后，又被官军抓捕。在押解途中，李密说服其他凶犯把身上的钱财都拿出来给押送的使者，并说：“反正我们也要死了，这些钱财就送给你们，也为我们自己积德行善。”使者收起黄金，痛快地答应了。出关后，官军对因徒的看守日渐松弛。李密便请求到市上买来酒肉，每天晚上吃喝吵闹直至通宵达旦，官军竟然不以为意。行至邯郸时，夜宿村中，李密等7人挖穿墙壁趁夜逃走。
大业十二年（公元616年）十一月，李密投奔翟让领导的瓦岗寨义军。翟让于大业六年底，任瓦岗寨聚众反隋。一起造反的还有单雄信等人。瓦岗军在汴水所经的荣阳郡和梁郡边界，夺取公私行舟的货物，杀富济贫，曾多次击败隋军围剿，队伍发展到1万多人，成员中以贫苦农民和渔猎手为主。
李密长于谋略，逐步在瓦岗军内部形成自己的势力。李密不但号令严明，而且生活朴素，凡是从敌人那里缴获来的钱财，他都分给起义将士。日子一久，将七们就渐渐向着他了。第二年（公元617年）春天，李密劝说翟让，趁隋炀帝在江都巡游，东都空虚的机会，进攻东都。瓦岗军派人到东都刺探军情，被隋朝官员发觉，加强了东都的防御。李密就改变计划，提议先打东都附近的兴洛仓。
兴洛仓也叫做洛仓，是隋王朝建造的最大的一个粮仓。仓城周围20多里，城里挖了3000个大窖，每个窑里贮藏着8000石粮食。这都是隋王朝多年来从各地农民身上搜刮来的血汗。
瓦岗军攻破兴洛仓以后，立刻发布命令，开仓分粮。这次袭击作战成功，获得大批军粮，不仅救济了广大饥民，得到了民众拥护。
在瓦岗军的胜利发展中，李密以他的军事才能，为瓦岗军作出了重要贡献，在全军中有了很高的威望，于是翟让等就推李密为主，号为魏公。在各路起义军中确立了盟主地位。这时，李密和翟让之间因处理隋朝降官、分配军资等问题，发生火并，李密杀翟让及从者数百人。
