晉軍過淮、泗，沿河北上，桓溫率眾將登船樓北望，但見滿目瘡痍，破敗不堪。飽經戰亂的中原各地蕭條荒涼，早已經不復當年景象，桓溫慨然嘆曰：“遂使神州陸沉，百年丘虛，王夷甫（王衍）諸人不得不任其責！”
時有袁宏在側，聞之曰：“運有興廢，豈必諸人之過！”
桓溫很生氣，以劉表有千斤大牛能吃飯卻不能幹活最後被曹操所殺為喻，用以反駁袁弘，意指如袁弘這樣身居高位者，徒有高官厚祿卻不能為國盡職出力，誤國誤民。當時滿座駭然，盡皆失色，袁弘隨即被免職。
不過故事還是有續集的，此事的不久之後，桓溫發現自己尚缺北伐檄文一份，於是命袁弘賦之。當時正在進軍途中，沒有條件為袁弘提供一張安靜的書桌，文房四寶也不齊全，袁弘以馬背當案幾，以口水潤狼毫，頃刻間寫就檄文，洋洋灑灑數千言，精彩非常，寓意深刻，揚我軍威，挫敵膽氣，桓溫覽之大悅。後來，這段故事便流傳了下來，成了一句形容人們才華橫溢、才思敏捷的成語：“倚馬千言”。
359年六月，北伐軍將領檀玄在湖陸擊敗前燕攔截軍隊，俘獲敵寧東將軍慕容忠，北伐軍軍至山東金鄉。
時值大旱，桓溫命冠軍將軍毛虎生鑿鉅野澤（在今山東鉅野北）三百里，引汶水（今大汶水）會於清水（古濟水自鉅野澤以下又稱清水）。這條航道後人稱之為“桓公瀆”。桓溫率大軍乘船自清水入黃河，舳艫連綿數百里。
在北伐軍進入黃河前，晉軍內部曾對下一步進軍方略產生爭論。謀士郗超認為：北方正值旱季，漕運難通，北伐軍可原地駐守，積聚軍需，過冬之後再繼續進兵，方法雖遲緩，但我軍必能立於不敗之地；或者大軍直撲鄴城，逼迫燕軍主力出城決戰，即使燕軍據城堅守，也可盡收城外百姓、財貨，防止敵人堅壁清野，易水以南必交臂請命矣。
桓溫沒有采納，既不肯直趨鄴城，決勝負於一役，又不肯頓兵河、濟，以待來年。堅持按原定計劃沿河西上與袁真會合。北伐軍進入黃河，逆流西進。
很多人認為，這是桓溫無心真正北伐的憑據，若從郗超之言，必不至後來的慘敗。
直趨鄴城固然能達到出其不意、攻其不備的效果，但是，同樣意味著北伐軍需要捨棄船舶輜重，遠距離徒步奔襲，而據城而守的前燕軍卻是以逸待勞，這是以己之短攻敵之長。在敵方有生力量並未受損的情況下，桓溫只要進攻稍有不利，前燕四方援軍轉瞬即至，是時，內外夾擊，北伐軍必敗。事實上，在當時，前燕已經有所反應，開始派兵攔截北伐軍進軍。作為首都的鄴城，前燕不可能毫無防備。
對於“頓兵河、濟，積蓄糧草，來年再戰”的建議，桓溫就更不可能採納了。懸師日久，會對軍心士氣造成極大損害，導致師老兵疲，這不是一番慷慨激昂的鼓勵話語就能夠改變的。而且也會給前燕太多的準備時間，從容排程，到時候依然是勝負難料的結果。
桓溫真正的勝算在於：東西兩路大軍全部達成預定戰役目標，會師於前燕首都鄴城城下。那時，北伐軍體力充沛，士氣如虹，兵精糧足。前燕卻會因為無法阻止晉軍北上而陷入恐慌，屢戰屢敗之後，軍心渙散，不可能阻止北伐軍攻破鄴城。
開戰初期，戰事發展正是桓溫想要的樣子，直到負責打通糧道的袁真出了問題。
六月，北伐軍在黃墟（今河南民權北）大敗前燕下邳王慕容厲兩萬步騎，慕容厲僅以身免；燕軍繼任者慕容藏節節敗退；同月，前燕高平太守徐翻投降，兗州刺史孫元起兵響應；同月，桓溫前鋒鄧遐、朱序大破燕將傅顏八萬大軍於林渚（今河南鄭州市東北）。
七月，北伐軍進至枋頭（今河南浚縣），距前燕國都鄴城僅二百餘里。
接連的戰敗讓燕國君臣驚慌失措，惶恐不安，皇帝慕容暐及主政者慕容評連逃往和龍（今遼寧省朝陽市）的馬車都已經準備好了，正在搬家。
想起那座代表著慕容家族精神的大棘城，那年，大棘城下，慕容廆激勵將士，親自出擊，重創宇文素延數十萬大軍。那年，依然是大棘城下，刀槍如林，馬嘶震天，慕容恪僅以兩千騎兵即擊破後趙天王石虎，一戰而名揚天下。
國都遷到了鄴城，皇帝也換成了慕容暐，桓溫還沒有圍城，情況並不比當年糟糕，先輩的榮光也還在，但前燕君臣的骨頭，酥了。
慕容垂阻止了前燕皇帝陛下的逃跑行動，“臣請擊之，若戰不捷，走未晚也。”
在國家危難之際，慕容垂髮揮了自己在關鍵節點上的關鍵作用，阻止皇帝的逃跑，穩定了前燕的軍心、民心。為下一步行動的有效實施奠定了基礎。
慕容暐停下腳步，任命慕容垂為使持節、南討大都督，率眾五萬抵抗晉軍。同時派遣使者赴前秦求援，許諾割讓虎牢（今河南滎陽西北汜水鎮）以西土地，換取前秦出兵救援。大家請注意這一點，戰後，前燕食言，這成為前秦滅燕的導火索。