耶律世義在傷心流淚。他抱起孩子繼續往前走，又走過幾裡路，穿過樹林，來到草原。忽見前面出現一羊群，旁邊有一座遊牧帳篷，耶律世義很是驚喜，總算是見到了人煙。他抱著女兒朝著氈帳走去。
出來迎接的是年輕夫妻二人，被熱情的接進氈帳裡，這是一戶女真部落管轄的女真人牧民，耶律世義很幸運的在此食宿一夜，受到款待。他沒有暴露自己是出逃的，隱瞞了自己的真實身份，謊說自己帶著女兒去北疆投親。第二天道謝了主人。又繼續往北逃走。漂泊飄零多日，經受悽風苦雨，悽風苦雨，乞討度日，時常隱蔽在深山野林中。行走數日，最後投奔北疆孩子的舅父家，隱姓埋名，躲避了幾年。
東京府管轄的幽州獄所，關押著數百名漢人奴隸罪犯，他們集事叛亂，槍走馬匹，搶奪財物。舉旗造反，準備投奔宋營。遼國朝廷有位大臣名叫敵烈，上書奏本皇上說：
“鹹州府節度使耶律忠原名王孝忠）和這次叛亂有關，他有謀反之疑。”
皇上聽完奏本，不以調查核實。便下令‘翼王敵烈‘派兵去鹹州府耶律忠家捉拿問罪。敵烈用自己手下持衛親軍馬部班頭韓通帶兵，去耶律孝忠家，擅自揹著皇上，慌傳聖旨，把捉拿問罪，改為抄家問斬。
耶律忠王孝忠）全家被殺之案，引起朝廷風波四起，滿朝文武官員議論紛紛，心照不宣。大多數忠臣認為，耶律孝忠冤枉。是誣陷，是被奸臣所陷害。當今皇帝穆宗貪酒遊獵，不問朝政，乃造成奸臣當道掌權。
耶律孝忠原名叫王孝忠擔任遼國宮廷侍衛班頭時。他聽見翼王敵烈、耶律海思、蕭達幹等人計劃謀反。便把此事告密給南院樞密使韓匡嗣，因為韓匡嗣是漢人，王孝忠進宮是他一手提拔的。韓匡嗣聽到王孝忠的報告，驚出出一身冷汗，意識到此事非同小可，關系大遼生死存亡之大事。急忙找當朝宰相蕭思溫商量，蕭思溫說：
“不出我所略，我早就察覺他們幾人有陰謀篡位動機，不過沒抓住把柄。”
二位忠臣立刻面見皇上。穆宗聽後大怒，下詔將其全部逮捕入獄，海思和蕭達幹被處死罪。因翼王敵烈是太宗第四子，只是關押一個月，就釋放了。過十幾年後，敵烈又被下一朝皇上提升為北府樞密使，他把前幾年的仇恨永久記在心中。查明是王孝忠這小子告的密。得知王孝忠平步青雲，直線上升，由鹹州林牙提升為節度使，他懷恨在心，總想找個時機報仇，除掉王孝忠。正著東京發生漢人叛亂，王孝忠的祖父與父親曾是北宋高官，而王孝忠又有被俘虜的前磕。正是陷害他的好機會。然而他編造一番假話謊言。趁著皇上醉酒昏迷時。向穆宗奏這一本，並遞上奏摺，栽贓陷害王孝忠。穆宗沒加思索。就下令去捉拿問罪。敵烈急忙派自己步下親信韓通，塗改皇上聖旨。傳達說：“去鹹州府耶律孝忠家，開刀問斬，滅門九族。不許漏掉一人。”
又製作一份假聖旨，交於韓通。之此才發生前面耶律孝忠全家被殺一案。這才引起二位忠臣宰相，黯然銷魂。上奏皇上曰：
“耶律孝忠冤屈，請皇上明察。是有人陷害，希望皇上給耶律忠一個清白。”，
穆宗見二位卿臣來詢問此案，自己覺得此事下詔急促，有些草率荒唐。只是理屈詞窮的說：，
“朕，當時喝多了酒，昏迷中聽敵烈一面之言，便下旨捉拿歸案，但朕沒說問斬這二字。結果他擅自操家問斬，勿吾所意。現在朕下聖旨，令上京留守韓匡嗣查辦此案。查明水落石出，給死去的耶律孝忠一個交代。”
上京遠離鹹州府五百裡。騎馬需五天，韓匡嗣帶領人馬先來到東京今遼陽）駐紮幾天，和東京留守一起去鹹州府。歷時半個月時間。查明漢人叛亂事件於耶律王）孝忠無關。耶律忠是被‘敵烈’所陷害。
韓匡嗣反回上京，回奏穆宗，皇上下詔給耶律孝忠王孝忠）平反昭雪。又下聖旨：
‘耶律忠之子耶律世義繼承父親官職，追封為鹹州節度使。’可是耶律世義的下落不明，無人告知，官方也無處打聽其人的下落訊息。敵烈因是皇族，而年過古稀，沒處死罪，被革職為庶民。
耶律世義帶著幼小的女兒，仍然隱名埋姓，躲避在遙遠北方的女真部落妻哥家裡裡，過著遊牧生活，以狩獵為生。更不知道朝廷給父親平反昭雪的訊息。朝廷韓匡嗣也派人尋找耶律世義，大海澇針，豈能找到他呢。多年之後，耶律世義才聽說父親之事以被昭雪，知道朝廷認定父母及家人是被奸臣敵烈所害。自己被定為無罪。並且繼承父親的官職。
耶律世義自心在想：“當什麼林牙，節度使，當官我不在意。我痛恨這個‘官’字。回想起祖父給大宋朝當了一輩子官，沖鋒獻陣，給宋國立下汗馬功勞，結果落個悲慘下場。而父親對遼國忠心耿耿，最終被奸臣陷害致死，斬我全家。照成我妻離子散，我還能當官嗎？”
他坐在山頭上，朝著家鄉方向望去，心碎神傷，悲痛欲絕。他真想大哭一場，發洩一下自己內腹的辛酸苦澀。他又一想：自己是堂堂正正的七尺漢子，父親在我童年時教導我說：
“男人流淚，非為漢子。”
他只好痛忍傷悲，此時他心如刀絞，萬箭鑽心。他握緊拳頭，站起來，怒吼一聲：
“我一定給父母報仇，用仇人的頭祭父母的墳墓。”喊聲震動了山谷的迴音。
接下來耶律世義發誓要做三件事，一是砍掉仇人敵烈的頭給父母祭墳。二是回家從新安葬父母，把屍骨運回象牙山老家主墳整修墳墓。三是尋找妹妹王休姑和大女兒餘鳳，並給自己暗中立下自願：
“一年找不著親人，十年去找，十年找不到，終生找。”
第二年耶律世義帶著十歲的女兒餘瑾，回老家鹹州府，把父母和妻子的屍骨安葬在城郊。安葬完畢，見家産所剩無幾。變賣房産換成銀兩，以做盤纏。過著遊獵生活。先去上京找仇人敵烈給父母報仇。還沒到上京，走在路上就聽說仇人敵烈在二年前已病故了。長子敵革盤踞在盤龍山，坐山為王。報仇的念頭落在他兒子敵革身上。
耶律世義帶領女兒四處打聽妹妹王休姑和大女兒王餘鳳的下落。一直尋找找十來年。