李隆基在退朝后去了花萼相辉楼，他觉得在花萼相辉楼三楼的大厅里坐着用午膳，比较清净，用完午膳后，他可以再到北面阳台上俯视兴庆宫、太极宫、皇城，平视大明宫。
这是一处寻求清净，但又将皇城和皇宫看在眼中的绝佳居所。李隆基刚才在退早朝时，出了大明宫宣政殿后，听到李林甫在后面小声和别人说话，他回头望了一眼，发现李林甫和高力士在大明宫前的回廊窃窃私语。当时李隆基心情不好，就没有走回去问他们说的什么。
李隆基了解高力士，在他心情不好时，高力士会来问他有什么吩咐，或者有什么需求。李隆基想，等高力士过来后，他就问问李林甫和他聊得什么。
李隆基跟在右手边站立着衫子说：“衫子你去兴庆殿和武惠妃说一下，朕中午不回兴庆殿用午膳了，到时候让她独自用午餐即可。然后你再去御膳房和御厨们说一下，朕中午吃的饭菜要送到花萼相辉楼三楼，武惠妃在兴庆殿吃的午餐菜品数量不变。朕的晚饭要送到兴庆殿，到时候朕要和武惠妃共进晚餐。”
衫子躬身行拱手礼道：“奴才遵命。”
衫子离开后，高力士来了，高力士从南面的楼梯口走过来，在离着李隆基六米远的地方躬身行拱手礼道：“奴才拜见陛下。”
高力士昨天傍晚来向李隆基汇报事情的时候，由于汇报的事情比较重大，因此自称微臣，现在来并不是为了汇报什么，而是处于对李隆基的关心，相当于来问安，因此他又自称奴才了。
李隆基转过身，仍然坐在椅子上，面对高力士说：“你来面见朕，没有什么重要的事吧？”
高力士说：“陛下，您这几天心情不太舒畅，您如果需要在饮食方面，娱乐方面，有什么调整或需要，可以让老奴为您安排。”
李隆基说：“不用了，朕此时心里的烦闷，并不是靠吃几道珍馐菜品，或者观赏几个音乐舞蹈节目就能缓解的。朕看到今天早晨退朝时，李林甫在宣政殿门外的回廊，向你耳语了几句，他说的什么话啊？”
回禀陛下：“李林甫说废太子和皇子为庶人，是皇上的家事，是可以不必问外人的。他的意思是，对废立太子这样的事，为人臣者，应该尊重皇上的意思，这毕竟是君主的家事。”
“你觉得李林甫说得对吗？”
“老奴只是您家的奴才，废立太子这样重大的事情，实在是不敢表达观点啊，李林甫作为宰相，都没有发表观点呢。望陛下海涵。”
“嗯，你们都很聪明。不过话又说回来，你和李林甫这样不表态，完全尊重朕的观点，正是对朕的理解与支持。张九龄一番慷慨激昂的话，让朕对是否将李瑛、李瑶、李琚废为庶人，而犹豫不决了。朕老了，五十一岁了，虽然身体上还可以，但是考虑问题方面，也出现了犹豫不决的情况。”
“陛下，在老奴看来，您还是神采奕奕，英明神武的状态。”
“你这样说朕心里挺高兴，朕还想为天下苍生主持大局三十年呢 。”
“奴才认为，以您现在的状态，再做三十年英明神武的皇帝，是轻松的事。”
“嗯，朕借你吉言，努力实现这样的目标。”
“陛下，您在此用午膳，需要老奴到御膳房，通知御厨，以及那里的宫女和太监们吗？”
“不必了，朕已经安排衫子去御膳房说了，朕将在花萼相辉楼三楼用午膳。你回内侍省吧，那里还有事需要你处理呢。”
“臣遵旨，臣告辞。”
高力士躬身退后两小步，转身向南面下楼的楼梯口走去，并下楼离开了花萼相辉楼三楼。
卫蔚少卿、驸马都尉薛锈，也是参加早朝的。今天上早朝时，他站在武官那排，即西面那排官员的第五位。他听到李隆基说要废太子，鄂王、光王为庶人，心里很高兴。张九龄为李瑛等三人极力辩护，竟然令皇上改变了一些态度，皇上表示退朝后三思而后行，这让杨洄心里很怨恨张九龄。
杨洄在兴庆宫西南角，花萼相辉楼一楼西门外站着，他想跟皇上再说一下薛锈退朝后又去了东宫，但是他又认为皇上刚听了张九龄的劝告，可能会把他当成历史上那些诬告太子或忠臣的人。因此他犹豫不决，不知道是否要进入在东南面，邻近花萼相辉楼不远的勤政务本楼面见皇上。
衫子当时下楼出花萼相辉楼时，是从西门出来的，杨洄正站在那里，杨洄问了衫子陛下在花萼相辉楼吗？衫子告诉他皇上在花萼相辉楼，他才知道皇上不在勤政务本楼。正在那时，高力士从北面走来了，衫子急匆匆向北走去，杨洄在衫子与高力士对话时，往南走到了勤政务本楼南面的东西大道上。
杨洄想皇上现在情绪不稳定，冒然去说薛锈的坏话，可能会让皇上警觉，毕竟薛锈也是驸马，而且是光禄卿，官比他大。杨洄想了一个稳妥的做法，他在勤政务本楼南门外站了近一个时辰，快到吃午饭时，就走到了花萼相辉楼西门，他看到御膳房的宫女和太监们，提着三个木托盒进入了花萼相辉楼，他就往北走，去兴庆殿找武惠妃商量对策了。