在關中局勢日趨緊張的同時，臨賀郡的戰局也一觸即發。陸遜將費禕打發走了之後，就進軍臨賀，直逼龜山陣地。見陸遜率領大軍親至，相夫不敢大意，立刻把訊息報告給了魏霸。魏霸隨即帶領親衛營趕到了龜山。
在仔細的觀察了龜山陣地的形勢之後，魏霸決定放棄龜山，退回臨賀城。臨賀城已經在臨賀郡的最南端，快要進入蒼梧郡，退到這裡，就等於放棄了大半個臨賀郡。對魏霸的這個決定，很多人不理解，特別是那些剛剛投靠的蠻子將領，他們都以為神將是戰無不勝的，任何敵人都不在話下，現在大戰還沒開始，神將就決定撤退，未免有些喪氣。
相夫也有些疑惑，不過他更擔心神將的名譽。見旁邊那些將領互相交換眼神，他就知道了他們心裡所想，便主動問道：“將軍，這麼做是不是太軟弱了一些？”
魏霸不以為然的說道：“軟弱什麼？有攻有守，有進有退，這是必然，誰也沒說一定要進攻才能取得勝利，防守成功也是勝利，你們說是不是？”他轉身對那些蠻將說道：“你們有誰聽我在課堂上說過一定要進攻才能獲取勝利嗎？”
那些將領互相看了看，不約而同的搖了搖頭。他們成為魏霸的部下之後，都接受了魏霸的兵法訓練。不過對很多人來說，聽神將親自講課只是一項榮譽，對於講了什麼，他們其實並沒怎麼在意。對他們來說，戰鬥就是聽到命令之後向前衝鋒，誰衝得快誰就最勇敢。至於謀略什麼的太複雜了，這種費腦筋的事情還是由神將去考慮吧。
現在魏霸當著眾人的面來考他們。他們卻不能說自己不知道，那也太丟人了，只能一個個一本正經的點點頭，彷彿自己非常理解神將的意思似的。只是點了頭之後發現別人都在點頭，又不免有些懷疑別人是真懂了，只有自己沒有聽懂，更不敢把自己的真實意思表露出來。
一時間，附和聲一片。
魏霸也不點破，他知道這些人沒什麼文化。要想在短期內大幅度提高素質不太可能。他對相夫說道：“我們的目的是獲取勝利，而不是進攻或者防守，進攻也好，防守也罷，都是手段。不是目的。孫子說過，不戰而勝才是用兵的最高境界。當初建立龜山陣地，並不是為了阻擋陸遜的大軍，這裡的地形只適合阻擋小規模的騎兵，卻擋不住大量的步卒。選擇一個合適的陣地是用兵的基礎，我們不能因為所謂的面子把自己置於不利之地。這是愚蠢的表現，而不是勇敢的表現。”
相夫連連點頭。他自己是知道一些道理的。之所以這麼說，不過是為了配合魏霸教育那些蠻子。有相夫做表率，又有魏霸現身說法，蠻子們沒有什麼太大意見。很聽話的撤了。
魏霸一路撤到臨賀城，身後便是狹窄的山谷，看到了大山，蠻子們心裡安穩了許多。有些聰明的人已經慢慢意識到了魏霸的用意。再有人質疑魏霸時，他們就主動地替魏霸解釋。魏霸注意到這些情況之後。對那些人進行了嘉獎，見縫插針地對蠻子進行教育。
得知魏霸把陣地後撤，陸遜並不意外，相反他覺得非常不安。他召集眾將議事，決定繼續前進，大軍一直推進到臨賀城下。雖然還沒有攻克臨賀城，但順利收復了大半個臨賀郡，對鼓舞士氣也起到了不小的鼓舞作用。襄陽之戰以後，吳軍面對魏霸就沒什麼自信，包括陸遜在內的數名重將先後敗在魏霸手下，不少人都對魏霸有了恐懼感。特別是那些山越，有人在私下裡說魏霸是戰無不勝的神將。這次一箭未發就奪回數城，士氣多多少少有點提升，至少他們不再認為魏霸是不可戰勝的了。
一進一退之間，雙方計程車氣有了微妙的變化。這些變化很快就被魏霸察覺了，然而他並沒有做出過激的反應，他只是靜靜地觀察著雙方的局勢，不動聲色地引導己方士氣的走向。士氣雖然有些低落，卻還不至於到崩潰的地步，在魏霸的引導之下，很多人都相信這只是暫時的退卻，是為了最後的勝利，就像打人之前先要把拳頭收回來一樣，暫時退去只是為了更好的出擊。
在這件事上，魏霸從親衛營中抽調出去的基層軍官起到了良好的作用。他們對魏霸的信心無可置疑。
魏霸部下計程車氣沒有受到太大幹擾，可是他的暫時退卻卻對其他人產生不小的影響。費楊再次來到臨賀城，見面寒暄之後，他對魏霸說，我們本來已經聯絡好了，只等將軍進入長沙，我們就起兵響應。可是陸遜一來，將軍便不戰而退，現在很多人開始懷疑將軍不是陸遜的對手，他們又有些猶豫了。
魏霸笑了笑。“難怪你們不是陸遜的對手。”
費楊臉色有些難看。“將軍這是什麼意思？”
魏霸不緊不慢的說道：“你瞭解過我和陸遜交戰的經歷嗎？到現在為止，我和陸遜這是第三次交手。第一次在襄陽，第二次在辰陽，我不敢說我取得了大勝，但是至少沒有敗。而你們呢，和陸遜交手多次，損失慘重，到現在只能躲在深山裡面，不敢出來，你們還敢來指責我，不覺得可笑麼？”
費楊沉默著，卻掩飾不住自己的怒氣。他沒有想到魏霸會這麼無禮。他想了想，說道：“將軍，我們不懂什麼兵法，敗給陸遜，的確是我們無能。正因為我們自己能力不夠，這才把希望託在將軍身上。如果將軍也不能戰勝陸遜，我們很難下決心支援將軍。”
魏霸目不轉睛的打量著費楊：“這是你個人的意見，還是你們所有人的意見？”
費楊躬身道：“是他們的意見。對於我個人來說，我是相信將軍的。只是將軍也要理解我，關係到身家性命，誰也不會輕易做出決定。”
魏霸點點頭。“我知道你們的難處，所以也不會逼你們。合作嘛，就要雙方自願，你情我願才有意思，強迫那就不叫合作了。你說是不是？”
費楊非常勉強的笑了笑：“將軍說的有理，我們也是這麼想。將軍理解我們的難處，我非常感謝。”
魏霸起身，把費楊領到地圖前，指著南海郡說道：“交州數郡基本上都已經落入我的手中，吳軍要想進入交州，無非三條路，西面是嚴關，中間是臨賀，東面就是大庾嶺。中西兩條路都在我的控制之下，我現在最擔心的是吳軍透過大庾嶺進入南海郡，轉而進攻蒼梧，這條路是你們控制範圍以內，如果你們能夠阻止吳軍進入南海，便是大功一件。”