不过，长安人对河北敌后的军事，不大关切，他们看到潼关正面平安无事，就满足了，也安心了，一度浮泛的政治上的权力斗争，曾被压抑，如今又在都城展开。
太子监国是虚的，太子李亨在战乱中依然故我，可是，看着七十多岁的父皇的太子，却不甘心长久如此，现在，局面已稳定下来，长安的安全应该没有问题了，于是，太子一系的人，把攻击的矛头转向杨国忠。
太子一系的人在第一个回合针对皇帝而发，行动很暗，失败也暗。但是，明眼人仍可以看得出暗攻暗败经纬。
失败教训了太子集团的人，他们转向杨国忠，以夺取相权为第一步。
以办事务见长而起至帝相的杨国忠，没有家世背景，故家巨族的人瞧不起他，再加他和文士集团也没有关系，后门寒族出身的进士和文人，也与之格格不入。
杨国忠领导下，就有一批与他差不多的事务人才，少数山东大族中热中实际政治的人，他做得很苦，不过，这位事务人才的宰相，在应变中也苦心学习着，他了解构成大唐皇朝最高统治集团，故家大族和文士是鼎的三足中之二，另一才是皇家与皇家戚族，他悉心拉拢，用韦见素来联络故家巨族，用萧昕、张镐来罗致文士，杨国忠不以平时的制度用人，视能力而特擢，在朝中担任闲职的文人，有被外放为郡太守而负军政重责的。
杨国忠竭尽所能地做，但是，攻击他的人却渐渐增多，如名臣张说的儿子、属于故家巨宅和贵戚集团的张垍，是依附太子而攻杨国忠的一个首要人物。张垍官位是太常卿。此外，老臣芝晋卿，名臣之子萧华、裴遵庆，在朝中都具有一定的影响力，他们逐渐结合，从事反对杨国忠的工作；文士集团中，也有人依附太子——在战场中较平静的时日，朝中暗潮汹涌着。
杨国忠也得知这一情势，但他已无余力对付了——他太忙，每天的大部分时间处理军事上的各种问题，再者，他也忽视朝中那些并无实权的人，他认为只要在军事上稳住，政府财用不缺，新兵训练完成，一开始反攻，朝中的问题便会迎刃而解的。
同时，他得到皇帝的信任，与手握雄兵镇守潼关的哥舒翰交谊又很好，他不以为自己是有危险的。
但是，谣言的沙砾却日日在侵害这位宰相。
李隆基也得知这一情况，他曾和杨贵妃说，但皇帝也不予重视。李隆基和太子暗斗中胜了一个回合，对朝廷中的人事倾轧也疏忽了。
现在，他回复一些闲情，在苑中游览——时节已经交春，但苑中的树木仍然枯，只沉香亭畔，人工培植的花已经盛放。皇帝举行一次赏花的小型宴会，接着，又有规模较大的园游会。
长安城春花如锦，气候向暖了，以关中的节序说，已进入初夏，但实际上却是残春。
冬天时消瘦了一些的皇帝，体重回复，神志也清朗，做事的秩序再度建立起来。他每天上午治事，午后小睡，下午阅读军政报告，在黄昏之前，便在兴庆苑中闲步，陪同他的是杨贵妃。他回复以前的方式，黄昏前约一个时辰的时间，不做任何事。再有，皇帝也只闻大事，一般性事务都交宰相处理。
因此，杨国忠依然极忙，兵乱发生之后，他努力学习着处治军国大事，短短几个月中，他有显著的进步；不过，他在朝中做事并不顺畅，反对派在暗中和他捣蛋，他用了十分气力，收效往往只有七分，如果不是皇帝的全力支持，可能连这一点收获也没有的。他很苦，但这种苦处又无处可以申诉。
他每天都和皇帝单独相见，但是，李隆基已不像战争初起时事事躬亲，皇帝得知许多乐观的消息，他以为局面已在控制中。
一项很特出的阴谋在进行中，经验丰富的李隆基也完全不曾觉察，那是太子系的人物争权的新战略，他们尽力宣扬安禄山的凶焰已消，官军强大，已到了反攻的时候。
表面上也的确如此，哥舒翰在潼关已集中二十万以上人马，据说训练完成，士气很旺。此外，不论河北、河南，敌后地区和长安之间交通不绝，各种消息都能顺利地传入长安，传来的，又多有好消息。
有一次，由河南入长安的官员，带来了天宝初年轰动长安的大诗人李白的消息——安禄山渡河时，李白在汴梁，狼狈逃难，作了诗，这些诗，也在长安流传。杨贵妃着乐工谱了李白的几首记述逃亡的诗，在宫中唱着。
就在这样的时候，朝臣中不断有人向皇帝进言，把握现在的机会，展开反攻战。
杨国忠反对自潼关出击，他一再表示，目前的形势虽然已较前好转，但反攻还不到时候。可是，请求哥舒翰出兵的人却越来越多，皇帝也觉得反攻的时机已成熟，他询问杨国忠，为何不主张由潼关出击，反攻洛阳？
杨国忠举出哥舒翰的报告，安禄山回师安内，并不是主力部队，安禄山有一支重兵屯在陕州，监视潼关，他们不敢进攻潼关，但潼关的官兵，守有余，攻无把握，杨国忠请求支持，坚守待时，暂勿轻动。
皇帝在有些淆惑中答应，可是，朝中请战的呼声却越来越高了！长安的官员们，忽然雄豪起来，似乎个个都有勇气出关杀贼。
杨国忠坚持守关待时的政策，受到了直接的批评和攻击，甚至还有谣言的中伤，人们似乎忘记了朝中最早指陈安禄山会叛变的是杨国忠，曾竭力请求皇帝设法罢斥安禄山的也是杨国忠，现在，人们说安禄山的反叛，由杨国忠迫成，又有人说，杨国忠可能是两面派，和安禄山有勾结；再有人说，杨国忠不肯出兵反攻，居心叵测。
谣言不断，朝中，请战的进言，也每天不断。
杨国忠的处境非常尴尬，他在无可奈何中请皇帝出面压制反攻派，可是，皇帝被反攻的言论和每天递入的特别消息所迷惑了，他终于完全倾向于反攻派，杨国忠的请求，没有得到答应，皇帝真的相信，安禄山的大将崔乾佑在潼关之外的兵力不多，哥舒翰一出，必能将之击溃。
杨国忠从来是顺皇帝的意见，这回，他力争，但是，李隆基却坚持着，派使者赴潼关命哥舒翰出击。哥舒翰很快地回奏，请求仍持守势，他认为安禄山在潼关之外，公开的前锋是一些散部，中心却是劲兵，不能轻敌！他建议由郭子仪、李光弼两人新建立，在作战中已有经验的部队出击，攻取安禄山的老巢范阳，然后，潼关守军再出师，两方面进迫，必能收复洛阳。
哥舒翰的回奏，在朝中引起最不满的反应，官员们大力要求出兵，杨国忠再也无力阻止了。
于是，皇帝严命哥舒翰出击。
天宝十五载，六月初四日丙戌，哥舒翰在痛哭中向长安遥拜，出师反攻了，他明知这是冒大险而少有获胜机会的，但皇帝严命，他又怎能不出兵呢？
哥舒翰以大将王思礼领五万兵为前锋，庞忠等将军分领十万兵继之，他自己领三万人马先到河北岸高阜处接应，兵出之后，哥舒翰又和大将田明丘乘舟在河中观察形势。
六月初七日，两军相会了，安禄山部下统兵官：无敌将军、平西大使崔乾佑，的确暗藏精兵的，他的劲师扼守灵宝西原七十里的隘道间，五月来，按兵不动，目的在诱大唐兵马出击。
六月初八日，哥舒翰发动了全面攻势，他希望以自己优势的兵众来压倒敌人。
然而，崔乾佑在灵宝地区已有很周密的部署，哥舒翰的大军陷入了最不利的境地，前锋入了隘道，受到了火攻，中央大军遇伏而散，有几支兵进入了绝地，于是，潼关大军在一天中崩溃了，哥舒翰自率的三万人，闻变即归，受到狙击，军心慌乱，也逃散了，哥舒翰率残兵绕道首阳山逃归。
十八万人出击，逃入潼关的军队只八千人，而不幸的是蕃将火拔归仁在最后叛变了，诱擒主将哥舒翰，向安禄山投降。
六月初九日，安禄山的平西大使崔乾佑占领了大唐皇朝的天险潼关。
哥舒翰于六月初四日出兵反攻，到潼关失陷，前后只有六天的时间，而潼关关外的防务，长壕堑三道，每堑宽二丈，深一丈，外加障体，弩箭设置，崔乾佑如正面进攻，无法攻下潼关的，然而，大唐的败兵狼狈逃回，在慌乱中跌入壕中，许多处尸体填平了一丈深的壕，敌人便踏尸而进，再加大军在崩溃无主中，潼关便轻易地被攻破了！但是，这可悲的命运如非火拔归仁的投降，还能挽救，哥舒翰仍留下一支兵守御要塞，这支兵在西关，当敌人入关时，有力反击再收复东关，因为乘胜追到潼关的敌人前锋，数目只有万余人，又久战疲累，但不幸的是内部有了叛降的将军。
潼关的失陷，于相持阶段建立起来的一点信心也丧失了。潼关之西，大长安的外围地区，河东、华阴、冯翊、上洛四郡的防御使都弃职而走，各城的地方守兵，随之逃散。
在长安，当哥舒翰出兵之后，宫中、朝中都密切注意前方的情形，十二月初五日以后，皇帝每天都亲自接见报告战讯的专使，乐观地等待佳音。
潼关和长安之间，建立了最快捷的驿站和其他紧急通讯方法，每隔三十里路，即有一所烽火台，每天傍晚，举平安火，由东向前西，第一站的烽烟起时，第二站立刻相应，如此而传到长安，不过半个时辰。烽火，以前是传警的，但现在是报导平安，因此而称为平安火。
初九日黎明，长安先得到潼关兵败的消息，早朝时，群情黯淡，杨国忠没有对时局发言，这位宰相的心情非常沉重。而大唐皇帝，心情一样不好，可是，皇帝以为兵败在关东，他估计潼关不会失守的。
这天早朝中，皇帝把近来组训完成的监牧兵三千人，交领军李福德立刻率领赴前线。
李福德的兵，是选禁苑中监牧五坊的闲卒训练而成，不是能战之军，但是，在情况不佳中，皇帝用这一着来缓和朝廷中的气氛。
午后，兵败的消息不断地传到，杨国忠入宫两次，到了稍后的时间，杨国忠留在花萼楼，报使一经中书，就由一位当值的舍人陪入内廷报告。
六月初九的傍晚，平安火没有燃起——潼关已失，近邑兵官逃散，无人管平安火了！
高力士亲自入内报告平安火不至。
皇帝和贵妃正在晚饭，高力士的报告，使得皇帝大吃一惊，他脱口而出：
“力士，是潼关失守了？”
“陛下，报告尚未到，以平安火不至而度之，大约是潼关出事了！估计，出事的时间或在今日午后——”高力士大胆地说出了忖测之词。
皇帝沉沉地哦了一声，无言。
杨贵妃低声问：
“力士，平安火不至，是否会因其他原因？譬如偶然的疏忽或者耽误！”
“贵妃，依照多年来的往例，那是不会有的！”高力士再转而向皇帝说：“陛下，是否召宰相？”
李隆基沉吟着，尚未回答，此时，以杨国忠具名的急启，由值宿省中的舍人递入，杨国忠报告了平安火不至之外，又加上了自己的应急措施：派人驰赴渭南、灞上，监军备战，作内线集中。并且传命阻李福德前进，留军临潼以观进止。
急奏由内侍呈入，李隆基看了，转交高力士，随说：
“我知道了，着中书舍人回去吧！”
高力士看了急启，也没有发言，宫内的人都陷在可怕的缄默中；不久，杨贵妃低声请皇帝吃完饭。
皇帝看了白玉杯中的剩酒，徐徐饮尽，抹抹嘴，起身说：
“差不多已饱了，我们那边坐！”他缓缓地移身，向起居间走，高力士相随而入。
杨贵妃看着桌上的残菜，发了一回怔，也起身入内。她见皇帝和高力士都凑近地图在看。
皇帝在华阴城与潼关之间的一区，用脂笔画上一个圆圈，再将笔尖拖向西，在渭南、临潼两地稍顿，叹息着，回过头来，怆然向高力士说：
“大错只怕已铸成，不该命哥舒翰出兵的——唉，我以为国忠不知兵，心怯。唉！朝中那许多人，力言可进兵反攻，我二十余万人马，怎会到如此地步！”
对此，没有人能接口，高力士再度建议召杨国忠入议，但是，皇帝却不出声；李隆基愧见宰相，因为杨国忠是力主坚守的。而他在最后接受了多数官员们的意见，断然否决了杨国忠坚持的意见。结果如此，他想到此时召见宰相，会无话可说。但是，他又不能不处理，犹豫了一歇，他逃避了，命高力士代自己出去和杨国忠商量，同时，命高力士采取紧急戒备。
高力士走后，皇帝惨然向杨贵妃说：
“玉环，只怕长安会保不住了！”
杨贵妃为之大惊，悚然说：
“怎么会？我们在潼关有二十多万兵，即使失败，一半兵马总能保留下