对杨玄感来说，卫文升并不可怕，最可怕的是宇文述、屈突通和来护儿。用一句民间土话形容，三个人都是“吃狠人屎”长大的，狠得不行，打起仗来，脑袋别在裤腰带上，逮谁砍谁。这三个方面军是隋朝的绝对主力，士兵大都身经百战，上战场打仗就跟到菜市场买鸡蛋一样平常。
日夜兼程的宇文述和屈突通在杨玄感打响攻城发令枪的一个月后赶到了洛阳周边，屈突通率先抵达河阳（今河南孟县）后，就地休整，准备强渡黄河。
这下杨玄感慌了，他向手下将领李子雄问计。李子雄说：“屈突通精通兵事，一旦他们渡过黄河，那就胜负难料了。我们必须分兵抗击，将屈突通阻挡在黄河北岸，使南岸的樊子盖、卫文升失去援助，才能攻克洛阳。”
李子雄几个月前还是隋右武侯大将军，他是被杨广的多疑所逼迫，不得不投靠了杨玄感。可能是怕刺激杨玄感，这时候，他的话是很委婉的，他说“如果屈突通渡过黄河，那就胜负难料了”。事实上应该是屈军什么时候过河，杨军就什么时候完蛋。因为屈突通的后面就跟着宇文述，这两大如狼似虎的东征军如果遇到杨玄感的穷酸军，战争胜负不需要预测，谁先遇到就等于是先给谁送立功喜报。
事后情况表明确实如此，两支政府军和杨军甫一接战，杨立即掉头向西转移。
李子雄能看到这步棋，樊子盖也不是棋盲。为了掩护屈突通渡河，牵制杨玄感，他全天候派兵出城攻打杨玄感的军营。打得赢就打，打不赢就跑，目的就是不让杨玄感安生。这种敌驻我扰、敌追我跑的游击战效果很好，杨玄感疲于奔命，既要攻城又要提防劫营，根本无法派军有效阻截屈突通。很快，屈突通就渡过黄河，生猛扑向洛阳城。这时候，不算正在路上的宇文述和来护儿，洛阳附近和杨玄感交火的隋军部队已经达到了三支：屈突通、樊子盖、卫文升。杨玄感开始变得力不从心，陷入了被动的多线作战泥潭。就他那点儿过年货哪经得住三只狼的撕吞？
这时候，杨玄感不是一般的郁闷。造反之前，让他千万次地想，他也不会想到，竟然没有一个郡县起兵响应他。打来打去，他发现自己一直是一个人在战斗，几乎没有人支持他。不是他不想带别人玩儿，而是别人不愿意让他带。因为稍微有些判断能力的人都知道，此杨非彼杨（杨广），跟着他造反是一项没有最糟，只有更糟的冒险事业。
起兵之初，杨玄感就想拉几个颇有名望的知识分子入股，第一个对象就是和他一起在黎阳督运军粮的治书侍御史游元。可是游元喷得他满脸口水，骂他家世代位居高官显爵，父亲坟土未干就大逆不道搞谋反，良心大大地坏了，气得杨玄感一刀便把他给砍了。后来，他在一次战斗中俘虏了前来围剿他的内史舍人韦福嗣，杨玄感见他学历挺高，就对他以礼相待，让他掌管军中的公文信札。这个职位相当于高级参谋，所有的核心机密都了如指掌。即使这样，韦福嗣也并不领情。每次杨玄感向他问计，他总是哼哼哈哈地应付，这样做他说行，那样搞他讲也可以，你要说这样那样都不行，他就说估计可能行不通。
总之，跟徐庶进曹营差不多，和曹操留关公有点儿像。就是这样打太极，杨玄感也没看出来。鬼精的李密倒是看出了他的心思，就对杨玄感说：“韦福嗣和我们不是一条心，你把他留在身边，将来你必定会被他耽误，不如现在将他杀掉，以绝后患！”杨玄感不同意。李密失望地对他的朋友说：“楚公喜欢谋反却不想着取胜，我们迟早都将成为别人的俘虏！”后来，李密的两句话都得到了验证。韦福嗣果然带着所有的机密文件跑回了洛阳，李密自己也成了俘虏。杨玄感得知韦福嗣单溜的消息后，十分后悔没听李密的建议，只是那时候，他导演的造反故事片已进入杀青阶段，无暇也无心思做认真的反思和检讨了。
杨玄感原以为他振臂一呼，天下都会响应的。结果呢，只有两个村民响应他的号召，一个是余杭的刘元进，一个是梁郡人韩相国。这两个人名字都是一等一地吉利，可是，现实却和他们的姓名成反比，星星之火还没燎原就把自己给燎没命了。对杨玄感这个“孤独的造反者”，《资治通鉴》有明确记载，而且话是出自其参谋李密之口：“兵起以来，虽复频捷，至于郡县，未有从者。”史书说得很明白：郡县一级的官员没有一个随从造反的。这倒不是说这些官员多么忠于杨家王朝，而是谁都知道，以当时的形势，造反成功的可能性比亿分之一的中彩概率还低。
杨玄感造反后，杨广曾向太史令（天文台台长）庾质询问其有没有成功的可能，庾质回答得很干脆：“玄感地势虽隆，素非人望，因百姓之劳，冀幸成功。今天下一家，未易可动。”聪明的庾质一针见血地指出了问题的关键，“今天下一家，未易可动”。那时候的隋朝，虽说农民造反众多，但还都没有形成气候规模，对朝廷来说只是“疥癣之疾”。最重要的是，隋朝的军队还很强大，第一次东征时组织了一百一十万军队，虽说惨败而回，但仅损失了三十万人，还有七十多万可以随时出击的军队，况且，这七十万还只是杨广手上的“流动资金”，没有包括在全国各地守关戍边的“固定资产”军队。面对这样庞大的训练有素的职业军队，农民造反很难有进步和成活的空间。那时，掌握着国家重要权力和资源的上层贵族心还很齐，没有分裂，如果内部没有分化，单靠几支农民军，至少在其时其地，还无法真正对朝廷形成威胁。可惜，杨玄感看不到这一点，他犯了经验主义的错误，没有正确地估计形势。
其实杨玄感头脑发热已经不是一天两天了。公元609年，他跟随杨广西征吐谷浑，在返程的时候，全军秩序混乱地经过一个险要山谷时，他就准备乘乱杀掉杨广，拥立隋文帝三子杨俊之子杨浩为帝，结果被他的叔叔杨慎制止了，杨慎给出的理由是“士心尚一，国未有衅，不可图也”。这句话和庾质的“今天下一家，未易可动”意思差不多。可见杨慎比侄子理智多了。那时候，杨广即位才五年，最终令天下分崩离析的征发高丽事件还没有开始，连贫农都还没有想到造反，而荣华富贵享受不尽的杨玄感竟然想到了造反，这不能说他勇敢无畏，只能说他糊涂胆大，无知无畏。
一个头脑只会热胀而不懂冷缩的人是不可能成就伟业的，死在夏天的杨玄感就是这样一个没有冷缩概念的“倒霉孩子”。
杨玄感在洛阳城下是挺倒霉的，碰到了一个油盐不进的樊子盖。现在又来了个屈突通，几次交手无一胜绩。这个时候，杨玄感已经撑不住了，他的双李谋士李子雄和李密都建议他放弃东都，率军直入关中，强夺永丰仓，然后拿下潼关，据险固守，再从长计议。
杨玄感这时候已经没有选择，如果继续待在洛阳城下，很快就会成为隋军的饺子馅儿。这一次，他没有犹豫，于七月下旬挥师西进，计划进入函谷关，夺取关中。他如果就这样马不停蹄奔向西京，虽不能说一定能扭转败势，但至少不会败得那么迅速无比。
当大军经过弘农宫（今三门峡、灵宝一带）时，路上不少老百姓挡住道路对杨玄感说：“弘农宫城空虚，城内有很多粮食，你要是想攻下，几分钟的事儿。”杨玄感一听这话就动了心思，他想一鼓作气攻下弘农宫，先做个窝儿再说。史书上说这些劝杨玄感攻城的人是当地的“父老”，我觉得这些人的行为有点儿蹊跷，很可能是弘农政府安排的“托儿”，目的是想拖住杨玄感。可惜那时候没有网络，不然，同样身为政府官员的杨玄感一定知道网络上流行的那句“名言”：连群众的话你也信！
当时的弘农太守是杨广的堂弟——蔡王杨智积。这个杨智积脑子里确实积智颇多，他一眼就看出了杨玄感西行的目标是潼关。而且他还知道杨玄感一旦进入潼关，那就是广阔天地，大有可为了。所以必须想方设法把他拖在弘农城下，等待追军到来，一举将其消灭。于是杨智积便亲自走上城头，反串了一曲“泼妇骂街”。他出口成“脏”，扳着指头从杨玄感骂起，一直骂到他的父亲杨素、爷爷杨敷、太爷爷杨暄，骂的内容五花八门，什么爬灰门、艳画门、私通门、拉链门，反正门门都是“即兴创作”，怎么难听怎么骂。杨玄感肺都气炸了，再加上本来就想打下一块根据地，于是下令大军停止前进，攻打弘农。李密见此，赶紧劝他继续西进，不要因小失大。但是杨玄感向来刚愎自用，根本劝不住。
一场混战开始了。杨玄感想出了一个火攻的办法。他指挥士兵在弘农城城门旁放火，想先烧毁城门，然后部队一拥而进，轻松省事。门是烧开了，可没想到，杨智积也如法炮制，从城内向城外放了一把更大的火，想进去？可以，先过自焚关。杨玄感没辙，眼睁睁地在弘农城下烤了三天火。见弘农宫实在无法攻下，他才又转身向关中奔去。可是，三天时间太长了，在这三天里，宇文述、卫文升、来护儿、屈突通“四大天王”已经全部赶了过来，在皇天原（即董杜原，在今河南灵宝县西北），四路军队将他团团围住。
