卻說顧雍說動張羨，於是張羨遂據長沙而反。因張羨於零陵、桂陽有恩信。張羨又以利誘之。零陵、桂陽兩郡太守亦隨張羨反。
劉表聞荊南三郡叛亂，大驚失色。荊州總領七郡，自己來了之後，將南陽一分為二，新設了個章陵郡。也不過八郡罷了。如今南方三郡一叛，武陵郡危險不說，卻是把豫章文聘等荊州將士的後路給斷了。
於是劉表一邊命蔡瑁、龐季等人出兵平叛，一邊緊急傳命給豫章的文聘，讓他不要在豫章糾纏了，速速自江夏退回荊州。
文聘得了信，連忙來見劉繇，道：“劉公，我家主公來信，孫堅已說反荊南三郡，如今我腹背受敵，不得不退耳。還請劉公與太守早早準備，隨我北返荊州。”
華歆與王朗聽了，也只能相對苦笑，劉表猶豫不決，孫堅卻是先下手為強了。如今攻守勢易。除了撤兵豫章，還能有什麼辦法呢？
於是只好從文聘之言，率了家人，與文聘一道退出南昌城，徑往海昏與劉磐會合去了。劉繇臨行，樊能、張英等諸將拜泣道：“吾等家小皆在江東，不能隨主公往荊州也。”
諸將皆是江東豪族，劉繇當年來揚州，借諸人之力，方能與袁術相抗。如今自己一敗塗地，又如何能夠苛責眾將士。劉繇扶起諸將，嘆道：“是我誤諸卿也。今日一別，不知何日復能相見。諸卿還請多多珍重。”
眾人灑淚而別。
樊能對張英道：“劉公，吾等之故主也，屢有恩恤於吾等。今其往荊州，吾等雖不能隨，亦可以阻孫堅而報劉公之恩德也。”
張英深以為然，於是，二將率兵，來戰孫堅。孫堅聞文聘走，知長沙事發，欲追之。方行，聞南昌守軍出，遂返身來擊。樊、張二將死戰不敵，孫堅大破之，獲樊能、張英二將，感其恩義，收之為將。再探文聘，其已與劉磐兵合一處，往柴桑去了。
到了柴桑，劉繇對文聘道：“吾在豫章，多賴仲業之力，方能苟活至今。本欲隨仲業至襄陽面謝劉將軍。然吾在揚州喪師失土，無面目見景升。今小兒年歲漸長，聞青州大儒雲集。吾欲攜小兒往青州，使其求學。還望仲業到了襄陽，代吾分說一二。”
劉繇一方面是對劉表不看好，覺得荊州不如劉備處興旺發達。另一方面也說的是真心話，他長子劉基十幾歲了，正是頑皮多動的時候，自己雖然飽讀詩書，但教育自己的兒子總是力不從心。罵幾句沒有用，要動手打了，自己夫人攔著不說，自己也下不了這個狠心。還不如送到青州書院去，裡面名師眾多，環境氣氛最適合求學不過。再說兒子不聽話讓老師打了，自己眼不見便也心不疼。
劉繇要去青州，自然是和華歆、王朗商量過了的。兩人一致贊同。華歆早年拜在太尉陳球的門下求學，與盧植、鄭玄、管寧勉強扯得上同門之情份。又與管寧、邴原交好。這些人在青州都身份顯赫，自己去了能迅速融入，不會被孤立。王朗就更不用說了，他師從太尉楊賜，楊賜之子楊彪是他師弟。楊彪又是盧敏的岳父。而且，與他曾同為陶謙臣屬的陳登、糜竺、糜芳等人，如今全在劉備麾下為臣。王朗與華歆一合計，自己二人與孫堅沒打過交道不說，反而彼此為敵，若投了孫堅，待遇只怕好不到哪兒去。索性還不如跟著劉繇，一起投奔劉備。
劉備如今坐擁青、徐二州，丁口數百萬，正是大有所為之時。自己去了，必能受其禮遇。這三人一商量好，就來徵詢許劭的意見。許劭心想你們都商量好了來問我，我能說不行嗎？
文聘見這幾人都要北歸，心中頗是為難。主公素好賓客，要是眼前這幾位重量級的人物前去投奔，必然又能使主公名聲再度遠揚一番。可是也不能強來啊。這幾位一個個名重於世，要是對他們不客氣了，傳出去，這臉還要不要了。
由此足見文聘秉性之忠厚。換了黃祖來了，只怕就要先將這幾人請上船了再說。文聘躊躇了會，應了下來，又道：“劉公，如今道路阻塞，汝等如何能至？”
劉繇笑道：“仲業毋須擔憂，但給大船一艘，吾自大江順水而下，便可自徐州而入青州也。”
文聘道：“大江為孫堅所守，劉公恐不得過也。”
劉繇捊須笑道：“此小事耳，吾自有辦法。”