十月初三一早，唐肃宗等车驾准备完备，就下令出发，决定当晚驻石沟驿。李泌陪郭子仪先行出发，到石沟城，打扫驿站，整备大军准备南下，并令浑释之率一万军兵回灵武布军防守。就由太子李豫带四千禁军为先行，中间是唐肃宗、宫眷及文武群臣，李栖筠、李嗣业、段实秀等率西北诸城军殿后，浩浩荡荡地沿灵武大道（亦称“灵州大道”）向南进发。灵武百姓听说唐肃宗车驾南幸，男女老少沿街或出城相送。人们纷纷议论说：“皇帝行宫在灵武，这里成为天下最安全的地方之一。皇帝如果不走，该有多好。”也有人说：“岂止是灵武，就连河套地区也迁来多少百姓。这一带人心安定，生产发展，六畜兴旺，已成为天下富庶之地。”又有人说：“要平定中国，皇帝总要先收复京城，总不能一辈子待在灵武吧！”总之众说不一，大家直看着南下之军已经走远，才怀着若有所失的心情各自回家。
这次房琯到灵武来，唐肃宗十分高兴，以为又得了一个宰相之才。因房琯在长安时名气就很大，他口若悬河，上至天文，下至地理，似无所不晓。开元中，他就给唐玄宗上《封禅书》，很为当朝宰相张说所器重，称之为奇才，他因由校书郎一直升到监察御史。家中常常是高朋满座，从早谈到黑，房琯谈锋都不减。由此他的门生遍京城，门生中又有一些人到处为他吹嘘，借炫耀座师以抬高自己的身价，也使房琯的名气越来越大。因此唐玄宗西逃，他于普安郡追上唐玄宗车驾并随之入蜀，唐玄宗就封他为文部尚书、同中书门下平章事。他奉命到灵武传宝册时，就劝说唐肃宗立即接受并起用宝册。但唐肃宗却说：“比以中原未靖，权总百官，岂敢乘危，遽为传袭！”等到李泌、郭子仪劝唐肃宗接受宝册并起用宝册册封太子后，李亨认为房琯首倡其意，既忠于上皇又忠于自己，就想以他为自己的宰相。而韦见素也是上皇的宰相，李亨以为他过去依附杨国忠而看不起他，对他十分冷淡。这样，李亨就诚心对待房琯，房琯对时事到处发表他的“高见”。
李辅国将这一切都看在眼里，立即计上心来，就去找张淑妃共同说服唐肃宗，对于军国大事多和房琯商量，从而削弱李泌、郭子仪等在李亨心中的地位。李亨也不由自主地于闲暇在偏殿常向房琯询问玄宗朝的有关问题，房琯就凭自己的口才，一会儿天宝朝、一会儿蜀中方面、一会儿肃宗朝军国事，都说得头头是道，引得唐肃宗频频点头。百官见唐肃宗对房琯如此器重，所以见到他都拱手远避。这却正中李辅国的意，他与张淑妃在后宫额手相庆，十分得意。
这次南下，房琯时时不离唐肃宗左右地谈天说地，李亨也觉颇不寂寞。不觉到了石沟驿，李泌早把驿站住宿安排妥贴。第二日一早，郭子仪就安排好大军拔营起寨，保护车驾一路经顺化到达了彭原（今甘肃庆阳西南）。忽遇第五琦到彭原谒见唐肃宗，他请求把江、淮的租庸逆江、汉而上运达洋川，再陆运到扶风以助大军平叛，唐肃宗大喜，就加封第五琦为山南等五道度支使，专门负责军需供应。第五琦刚走，北海太守贺兰进明又到行在谒见，唐肃宗大喜，就命房琯拟诏以贺兰进明为南海太守兼御史大夫、充岭南节度使。等到任命书拟好后，房琯却只以贺兰进明为摄御史大夫，并说：“贺兰进明丧失北海守地，时至今日才来归朝。江淮一带陛下已委高适、来嗔等经营招扶李磷事，此时若以败将为岭南节度使，将士怎能服他？这恐对江、淮军事不利，还是如此委任才比较妥当。”唐肃宗虽心中不快，但又不好反驳，也就勉强点头。
诏命一下，贺兰进明到行在入谢。唐肃宗感到奇怪，就劝他说：“卿权且留下任职，朕不是有意要贬你，只想回到长安后，再妥当安置卿。”贺兰进明要求唐肃宗摈退了左右，才说出了他和房琯有过节的原委，又说：“晋时因重用了王衍为三公，但他只善于大而不当的虚浮清谈，不会务实，才致使中原板荡、天下大乱。如今房琯就是王衍一类的人，专会迂阔清谈，以大话沽名钓誉，他所任用的人也大都和他同类，他实在是第二个王衍。陛下如用他为相，恐非社稷之福。况且，房琯在辅佐上皇时，就是他建议上皇让诸王分领诸道节制的。他劝上皇以陛下为灵武节度大使分领荒塞；以永王为四道节度使，镇江、淮富庶之地，这才使永王有今日之举。昔日上皇这样分封时，谏议大夫高适就力谏不可，上皇不听，致有今日。这样分封后，房琯在成都又将自己的私党分布诸道，让他们于诸王处掌大权。他的意思是不论上皇的哪个儿子得天下，他都可不失富贵。这种做法，难道是一个忠臣所为吗？”唐肃宗吃惊地说：“房琯怎么会是这样的一个人呢？”贺兰进明说：“臣知无不言，请陛下三思。”说完辞出。唐肃宗思之再三，对贺兰进明所说总半信半疑，但也从此疏远了房琯。
房琯对于唐肃宗疏远自己，心知是贺兰进明说了对自己不利的话所致，可他认为自己大才可用，定可用实际行动证明给唐肃宗看，于是就上书说要以天下为己任，自请领兵收复两京，迎皇上和上皇入京归位。唐肃宗认为值此用人之际，房琯有此雄心壮举，似能胜任，就又一次相信了他，也就同意了。房琯又请求自选将佐，唐肃宗说：“朕当用人不疑，疑人不用，值此关键时刻尤需如此，一切允卿所求，卿当自便。”得此特许，房琯更加踌躇满志，在他看来直取长安似唾手可得。唐肃宗应房琯所请，就加其持节、招讨西京兼防御蒲、潼两关兵马、节度等使。
房琯从未领过兵，更没有亲临过战阵，这次兵权到手，他就在亲信门生中广选将佐。他首先选中御史中丞邓景山作为自己的副将，以户部侍郎李揖为行军司马，以给事中刘秩为参谋。邓景山见房琯这样用人，很是放心不下，就再三劝房琯再选有战阵经验的将佐领兵。房琯抵不住邓景山的劝说，临出兵前就又以兵部尚书王思礼为副将，因王思礼过去曾是唐玄宗器重的人，他就用来做自己的助手。他又命李光弼的弟弟李光进为一军首领。他虽这样任命，但在诸将中，他还是最器重自己的两位门生李揖和刘秩。他常说：“前人言道：‘打虎尚需亲兄弟，上阵还是父子兵。’老夫与李揖、刘秩二人形同父子。传说安禄山的亲军名曳落河，人数很多，且骁勇善战，他们怎比得上我的李揖、刘秩！”就把军中事务全委托这二人掌管，且临阵让他二人率军护卫自己及其所率的中军。李、刘二人本是书生，根本不懂军事，房琯成天和这两人大谈古代兵法，直说得天花乱坠。听过他谈兵法的人，觉得他说得头头是道，认为他确是个精通用兵之道的人。
出发前，房琯将唐肃宗交给自己的五万军先分出一万二千人为南、中、北三军，每军四千人，命禆将杨希文率领南军自宜寿入攻，命刘贵哲率中军自武功入攻，命李光进领北军自奉天入攻，约齐于第三天日出为期，各路军围攻长安。而他将三万八千人又分为上、中、下三军，命李揖统领前军八千人，命刘秩领下军八千人，其余统归自己为中军。他又命将士连夜四出搜寻、强征百姓的牛车。逢此乱世，有牛车的决不是贫苦百姓家，而那些中等以上的家庭哪里肯放，军士免不了要用武力强夺，直搞得冤声冲天，最后终于凑齐了两千辆。将士中也以为官军既为仁义之师，不应这样扰害百姓，且叛军已收缩至长安及近郊一带，军中征用这么多牛车到底做何用？他们就纷纷去请示房琯。房琯坐在中军帐中，捋须仰天微笑道：“老夫自有妙用，军机不可泄漏，尔等到时自明。”
原来，房琯认真研究了古时的车战法，他就照搬兵书想用这种战法胜敌。但这种战法秦汉以后就不再使用，到哪里去找那么多战车？如临时制造显然不可能，他于是独出心裁地就想到用牛车代替战车。这个食古不化的房琯却不知古时的车战法是很有一套讲究和严格训练方法的，用临时凑集起来的牛车代替战车焉有成功之理？再说他又不顾唐肃宗和郭子仪、李泌所制定的以优势兵力先破敌之一部、分而歼之、稳步推进的战法。他除部署南、中、北三军从不同地方入攻外，又将自领的大军分为西、北、南三军，从三面合攻长安，满以为可一鼓而下。
但战争是残酷无情的，容不得半点失误和疏忽。到进军这天，各路齐发，他所率的三军跟在杨希文的中军之后向长安进发。当前进到咸阳桥时，叛将安守忠已得到探报，将大军在咸阳的陈涛斜一线摆开。房琯见敌军在前拦截，就用他效仿古战车的战法，令刘贵哲所率的中军闪开让出道路，然后以两千辆牛车居中，两边用骑步兵夹着中间的牛车成纵阵向叛军攻击。安守忠还没有见过这种战法，感到很奇怪。但他毕竟是多经战阵厉练的战将，很快就看出房琯这种战法的可笑之处。他立即采用火攻，他先命军中一齐擂鼓。这时正刮着东风，叛军在上风头，官军处于下风。东风吹来，处于下风的官军阵中听到鼓声显得格外响亮，震耳欲聋。素无训练又没有经过战阵的那些驾车的耕牛在鼓声中受惊，驾着车乱跑乱窜，不但牛车互相冲撞，就连两旁夹牛车而行的马步军也被冲撞得七零八落，被撞死撞伤者无数。安守忠又命军中推着点着火的柴车，直向官军阵中冲来。风助火势，烈焰冲天，着火的柴车冲入官军阵中又烧着了牛车，尾巴已着火的牛拉着已着火的车往回跑，向后面的官军横冲直撞，官军阵中大乱，人马互相践踏，一片狼藉。房琯直急得大喊大叫，想压住阵脚，可根本不管用。李揖、刘秩见状急忙保护房琯，一路跑回大营。这一战官军共损失了四万人马，只有李光进所率的四千人全军而退，并无损失，暂驻奉天。
房琯收集残兵败将，他所率的西路三军和杨希文所率的南军一共收集起来才有几千人。房琯咬牙切齿，一定要报兵败陈涛斜之仇。第二天，他又整顿起残军由李揖、刘秩二人率领着向陈涛斜进发。在前一天官军兵败时，安守忠并不派兵追杀，此时他率军以逸待劳。李揖、刘秩率着数千余众高喊着冲杀，安守忠按兵不动，只命军中放箭。官军见迎面无数枝箭射来，纷纷后退。安守忠见时机成熟，就命军中擂鼓，领军冲杀过来。官军抵敌不住，只得回身逃跑。本领军在前的李揖、刘秩，在军士回逃时反而落在了最后，被叛军涌上包围，将他二人擒获押回叛军大营去了。
