太上皇回京以后住在兴庆宫，约两年半时间，生活悠闲，行动自由。但是，随着时间的推移，肃宗与父亲的关系渐渐冷淡。他认为太上皇住兴庆宫与外界接触频繁，对自己不利。
宦官李辅国说：“太上皇居兴庆宫，日与外人交往，陈玄礼、高力士谋不利于陛下。今六军将士尽灵武勋臣，皆反仄不安。臣晓谕不能解，不敢不以闻。”建议太上皇迁居西内太极宫。
李辅国的主意完全符合肃宗的想法。在肃宗的同意下，李辅国首先削减太上皇御马，从三百匹缩减为十匹，这是上元元年(760)六月的事。
七月，李辅国“矫称”圣旨，迎太上皇游幸西内太极宫，太上皇走到睿武门时，李辅国率五百射生手突然出现，手持兵器拦住太上皇去路说：“皇帝以兴庆宫湫隘，迎上皇迁居大内。”原来的游幸变成“迁居”,李辅国耍了一个阴谋。
太上皇见了寒光闪闪的兵器逼来，吓了一跳，几乎从马上掉下来。高力士大喝一声：“李辅国休得无礼!”叱令下马，李辅国不得不收敛一点儿。高力士代替太上皇要将士安分，指示他们不许以武力干扰銮驾。将士皆收起兵器，再拜，呼“万岁”!力士还让李辅国拉着太上皇的马来到太极宫。