高力士被貶斥出宮之事，迅速傳遍宮闈，繼而在朝中引發軒然大波。
就算高力士前一段時間稱病不出，但他在朝中的影響力依然非常大，他栽培提拔的官員仍舊把持著朝中很多衙門的要害位置。
高力士突然倒臺，讓很多人感到惶恐不安，紛紛上疏為高力士伸冤，宮裡一些人也開始替高力士說話，包括那些平日對高力士又敬又怕的妃嬪。
因為李隆基對楊玉環特殊的寵愛，使得很多妃嬪失去聖寵，平日召之即來，揮之則去，毫無存在感，如今她們只要逮著侍寢的機會，便會替高力士說話，不斷提及高力士的好，試圖讓李隆基回心轉意。
再加上李隆基只是把高力士打發到洛陽城的居所閒住，意味著這個權勢顯赫一時的大太監依然有被重新啟用的機會。
對於朝中一些人來說，好不容易才把高力士這個當權的閹宦給拿下，怎會給他東山再起的機會？
尤其是李林甫。
之前李林甫拿高力士沒有任何辦法，但現在他得勢，已經成為類似於宰相般的存在，更不可能給高力士任何機會。
他開始派人在民間散播謠言，說高力士被趕出宮後，每天在家裡進行一些祈福禱告的儀式，似請求上蒼成全他什麼。
聽起來煞有介事，但事情就詭異在這裡，明明高力士人已經痴傻瘋癲了，一個瘋子能祈禱什麼？
李隆基先是同情，繼而疑惑，再想想不對勁，畢竟高力士知道他太多秘密，他想知道這個他信任有加的太監到底在做什麼，於是派人去調查，沒過多久便有高力士府上的下人告密，說是高力士在家設祭壇，每日焚香時便詛咒李隆基，說當初要不是他高力士出馬，怎麼可能有李隆基的今天？現在不過是因為一點誤會，李隆基就絕情絕義地打發他走，簡直是忘恩負義。
高力士被安置在洛陽，以後可能會隨李隆基回長安，只不過是暫時賦閒，將來精神恢復，或許有機會被重新啟用。
但現在因為他暗地裡誹謗帝王，即便李隆基有情有義，架不住這種恩義被一再消耗，李隆基再也忍不住，一道聖旨下去，高力士目無君王罰回原籍，也就是嶺南道潘州。
如此一來，高力士徹底失勢。
高力士精神恍惚，半夜被千牛衛官兵從床上拉起來，塞上馬車，由皇帝派出的使者押解回嶺南。
高力士權勢熏天，但其實他的家產並不豐厚，他戀權力也不過這幾年的事情，之前一直兢兢業業為李隆基做事，沒積累多少財富。
作為一代權臣，又是著名的宦官，走的時候跟張九齡一樣落魄，無聲無息便被送走，沒有留下丁點聲響。
高力士這一走，京城局勢徹底倒向李林甫，牛仙客的權力被架空，看起來李林甫成為左相只是時間問題。
但李林甫不敢盲目自大。
高力士的下臺，意味著朝中跟李隆基間的聯絡缺少了紐帶，他沒法充當高力士的角色，而他作為外臣也不可能像楊雲一樣自由出入宮中，很可能要不了多久皇帝身邊就會出現一個跟高力士類似的人物出來。
這讓李林甫非常小心謹慎，就算高力士離開洛陽，他也絲毫不敢掉以輕心，矜矜業業為皇帝做事，一時間朝堂倒是平靜許多。
……
……
楊雲在翻越秦嶺的時候，聽說了高力士被髮配離京的訊息。