“身荷國恩，位兼將相，既不能死於軍陣，何顏以見舊主！更受命圖之，所不忍也。”
皇甫衝與從人皆泣不成聲，一個從人勸道：“某隨郎君十年，不忍見郎君如此，今夜值守者乃是軍中舊將，不如我等趁此機會，護送郎君離去。”
皇甫遇深知，他這一走，留在契丹軍中的兒子和杜知敏等人，就可能被契丹人殺死。
但此刻，他也顧不得了，因為他決定，要把杜重威已經無恥投靠契丹人的訊息，告訴朝廷。
於是當日傍晚，皇甫遇帶皇甫衝與從人數名，趁夜離開軍營南下。
兩日後，皇甫遇與眾人走到趙州以南平棘縣城外，此時天降大雪，道路泥濘，眾人又累又餓，幾乎行不得路。
皇甫遇的情況則更加糟糕，他七八日不曾多少飲食，還狂飲烈酒求醉，原本雄壯身軀，已經徹底句僂了下去。
此時他已經連騎馬都不行了，是皇甫衝買了一輛驢車，拉著他往南。
皇甫遇仰面朝天，乾冷的雪花，飄到他臉上，皇甫遇都沒多少感覺了。
他忽然想到，就算是冒死通知了朝廷，但朝廷已無兵可用，路上反而可能會害了身邊侄子皇甫沖和忠心從人的性命。
他長嘆一聲，叫停了皇甫衝，然後勉強坐了起來。
“我已信宿不食，疾甚矣，主辱臣死，無復南行。”
皇甫衝聽出了皇甫遇口中的決死之意，趕緊勸說。
“就算不南行，我們也可尋一地暫住，留待有用之身，以圖將來。”
皇甫遇慘笑一聲，“還有將來嗎？”
皇甫衝把牙一咬，對著皇甫衝說道：“河西涼王，乃是大朝忠義之後，關中平亂之時，仁義之名播於四方，今又出糧百萬石賑濟災民，實乃天命之主，日後能北逐契丹，興復中原者，必是涼王殿下。”
皇甫遇恍然長嘆，“數月之前，你欲往河西去，看來是認準涼王了。”
皇甫衝點了點頭，“侄遍數天下之君，無論天子還是國王，唯有涼王，是真人主也！”
皇甫遇臉上露出了欣慰的笑容，“如此甚好，某去之後，爾等可往河西，輔左涼王，北逐胡虜，為某報仇。”
皇甫衝聞言大哭，他抓著皇甫遇的手腕哭道：“伯父乃是天下有數的忠勇之臣，若能輔左涼王，何愁大事不成？”
皇甫遇搖了搖頭，“我乃晉臣，天子待我甚厚，安忍見國家傾覆，君上受辱？”
說完，見皇甫衝還要勸，皇甫遇厲聲大喝，“休要壞我忠臣名節！”
說完，這位後晉最為悍勇的忠臣，從懷中掏出準備已久的短刀，勐地插入脖頸，自殺身亡。
皇甫衝等大哭，收攬皇甫遇屍體後，徑直往西，投奔張昭去了。