歸無妄醒來之後，覺得氣憤難平，對著曹七說：“曹七，去，去將我們的人召集起來，今天晚上，我威遠大將軍，就要踏平總督衙門，殺了劉秀這個狗賊。”
曹七為難地看著歸無妄，歸無妄以前還是敬國公府上公子的時候，手下大約有兩千多士卒，這些人歸無妄沒有帶去隴右府，而是留在這裡，歸無妄讓曹七召集的，就是召集這些人。
“大將軍，這些人的軍官，早就被劉秀那個狗賊給收買了。”
曹七心中也後悔，在到了海瀾城這段時間，曹七也把劉秀當做自己人，將軍官介紹給劉秀，希望劉秀能明白，歸無妄雖然失勢了，但百足之蟲死而不僵。
結果他沒有想到，劉秀當上總督之後，釜底抽薪，將這些人全部都收買了。
“我就不信，兩千人都聽他的，本鎮就沒有幾個親信了。”
“大將軍，小的已經去打聽過了，如今只有七十多人還願意跟著大將軍你。”
歸無妄聽到這話，久久沒有說話，嘆氣一聲說：“如今只能如此，只能如此了。”
歸無妄失勢之後，原來的家僕也做了鳥獸散，跟在他身邊的，也就五六個親信了。
這五六個人自然也不能封城門了，歸無妄的生活就是每天坐在城樓上，看著日升日落。
這一天傍晚，歸無妄下了城樓，準備回家的時候，一男一女騎著馬匹到了這裡。
歸無妄看著那個男子，欣喜若狂，跪倒在地上，對著男子說：“臣歸無妄見過聖人，吾皇萬歲萬歲萬萬歲。”
“這會兒行禮，已經晚了。”聖人語氣雖然冷漠，但還是下了馬，扶著歸無妄起身。
“不知道聖人御駕到此，臣未列佇列，還請聖人責罰。”
“朕微服來此，鹵簿就免了。”
歸無妄看著聖人，對著聖人說：“聖人到此，想必是這裡為了某事而來？”
“是的，朕就是為了找你歸茂時來喝酒的。”
“哦，多謝聖人厚賜。”
聖人對著女子說：“華玉，你去總督府，見見劉秀吧。”
雅妃點點頭，這一次雅妃跟著來，是文妃的主意，文妃還是擔心自己這個二哥，於是讓雅妃跟著，免到時候歸無妄若是有什麼不對，也好從中周旋。
雅妃見聖人將自己調走，只能暗中為歸無妄祈福，希望歸無妄不要再犯錯了。
聖人和歸無妄到了城樓上，曹七等人打來酒，聖人看著夕陽，對著歸無妄：“夕陽無限好，從這裡看上去，真是美豔不可方物，當日在桐山的時候，茂時你在山中，看到的夕陽，也是如此這般美麗吧。哎呀，豈料夕陽不改人事非，今時今日，我們在看一片夕陽，已經再也沒有當時的雅興了。來來，朕和你聯一個句，西北彌兵報朝廷。”