隨著士家集體被遷往武漢，南漢在交州未建立起穩固的統治。交嶺各地郡縣都有騷亂，或是海賊襲民，或是蠻夷動亂。
霍峻離開交州前，曾與呂岱見面過，針對交嶺郡縣不服的狀況，特別指出。因士燮專治交州幾十年，導致蠻夷只知士燮而不知漢家，呂岱定要嚴厲打擊四起賊夷，在交州豎起漢家的威信。凡能漢家威信豎起，大漢官吏治理交州郡縣則能輕鬆許多。
後世談及西南山區地區，常言改土歸流，方能建立中央集權。然至於土為何制，卻寡有人深追。
土是為土司，土司制度起於元，明恩撫雲貴，舊錄土司各部族長，故以為久治之土官，如田州岑氏、龍州趙氏、播州楊氏、貴州安氏等人。
且不論土司誕生的經歷，但究論兩漢之時，大漢連可冊封為土司的物件都少的可憐。
如南中、交嶺二地蠻夷在兩漢之時，大部分蠻夷仍處在落後的蠻荒時期，其家庭關係中僅知母而不知父，採用居洞穴而生的居住方式。
這種社會架構，蠻夷內部的治理體系都不成建制，更不用說漢家改土歸流。
故而今下治交嶺、南中，其真正的核心在於，維護漢家的權威，保護地方漢民，儘量將熟蠻編戶齊民，轉化為漢地人口。且將先進的技術傳播至落後地區，繼而用漢家文化、習俗洗地。
“若按仲邈這般言語，交州當不與內地各州同。當加封定公將軍位，準其舉兵討賊。”
劉備捋須而吟，說道：“來人，詔封呂岱為昭信將軍，準其發交州兵馬，自討交嶺郡內各地賊夷。”
“諾！”
不同於北魏的州郡長官領兵制，南漢蓋因東漢之故，加之劉備自身的威信問題，對州刺史領兵制甚是排斥。
如潘浚、徐庶二人皆無領兵之權，僅有監軍之權。凡益州出現叛亂，郡太守可領兵平叛；若涉及到數郡的叛亂，由江州都督張飛率軍平叛，或是由指派相關將領平叛。
新委任的揚、荊二州刺史，他們如潘浚、徐庶二人相同，僅有總理全州的政事之權，而無領兵作戰之權。他們的權威與武漢中樞的強弱有緊密關係，難以形成割據勢力。
今下交州因自身情形不同，需要讓劉備專門加授呂岱將軍位，準其名正言順領兵作戰討賊。
言語間，王粲腳步匆匆而來，手裡捧著書信，說道：“陛下，關君侯來信。”
“何事？”
劉備收起談笑的神情，問道：“今時襄樊戰事如何？”
王粲先向劉備施禮，奉上巾帛書信，說道：“啟稟陛下，君侯言因漢水雨季上漲之故，于禁移營至樊城北十里，居高而避水。君侯欲觀水情變化，進而擇用具體戰敵之方略。”
劉備翻閱關羽所寫書信，神情多有沉思。
瀏覽半響，劉備將書信交予霍峻、法正二人，問道：“朕欲六、七月向曹操用兵，以助雲長北伐襄樊。不知二卿以為如何，可有高見否？”
劉備年少時，雖好犬馬，錦衣玉服，但卻非貪圖享樂之輩。自上次北伐壽春，過了有小兩年，自感年歲漸大的劉備早已按捺不住向北用兵的想法，尤其是襄樊戰場進展順利，讓他看見北伐中原的希冀。
在稱帝后沒幾日，劉備便召集眾人商議北伐之事，派人出使襄樊詢問戰況，為北伐而作準備。
霍峻初回武漢，不深知襄樊戰場細情，不敢妄加言語，遂沉默不語。