這段時間以來，高懷遠停止了到他府上走動，顯然也已經倒向了趙昀那邊，雖然還會時常給他送一些芙蓉膏之類的禮物，但是以前的那種三天兩頭拜見他的情況已經不復存在了，史彌遠有心想將高懷遠招至府中警告一下，但是考慮到他也正在想法趕高懷遠出京，於是便也斷了這個念頭，這些日子他自己也更加深入簡出了起來，整日除了在府中聽一些有關人等對朝政的彙報，看些地方的奏章之外，就只剩下抱著煙槍抽菸泡了。
不過史彌遠忽然想起來一件事，現在他越來越離不開這種芙蓉膏了，即使半天不抽，也難受的要死，只要抽上一口之後，便會覺得十分舒服，精神肉體都十分放鬆，這讓他終於開始感覺到了不安。
於是他便又請了幾個御醫，為他診治身體，並且讓他們看看這種芙蓉膏到底是不是毒藥，但是這些個御醫沒見過這東西，也說不出來個所以然，雖然有御醫認定此物之中有米囊花的成分，但是這個時代畢竟醫術方面對於罌粟的成分還不確定，更不可能知道它的危害，只是知道此物也是用來止咳、止瀉、止痛的藥物，故此鼓搗半天結論還是沒事！
史彌遠雖然對芙蓉膏放心下來了，但是卻又有了一種擔心，眼下他吸的這種芙蓉膏，都是高懷遠一手提供給他的，而高懷遠只說這種東西乃是海外藩商帶來的東西，卻一直沒說得自何人之手，假如將高懷遠趕出臨安的話，以後豈不斷了他的糧了嗎？現在史彌遠已經徹底離不開這種東西了，於是便派人去找高懷遠，向高懷遠打聽何處還能購得此物。
結果高懷遠的回答很讓他沮喪，高懷遠對派去的人說，此物乃是一個藩商從很遠的地方攜來，具體地點他也不知道，只是每個月在泉州會有人給他送來一些，要是史彌遠想要知道出處的話，請史彌遠等一兩個月之後，待他查問過手下之後，再做答覆。
史彌遠無奈之下，不敢輕易斷了這條線，生怕沒了這東西他沒法過日子，於是只得將胡榘遞給他的派高懷遠到利州路為官的奏摺給暫且壓了下來，等著高懷遠告知他何地能購得此物之後再說此事，於是便將支走高懷遠的事情暫時給拖了下來。
不過史彌遠還是不太放心高懷遠，指使在殿前司之中的手下時刻監控殿前司諸軍的動向，生怕高懷遠這段時間突然間發難於他，並且史無前例的將方書達招入相府之中，溫言安撫了一番，表示他對方書達的信任云云。
高懷遠當晚便得知了方書達被招入相府的事情，於是立即派人請方書達過府一敘，方書達也如約趕到了高懷遠的府中。
待方書達坐定之後，高懷遠也不提及史彌遠召見他的事情，而是對方書達說道：“方兄，今日愚弟請你過來，便是要告訴你，你的那封血書愚弟已經呈給了當今官家，官家十分高興，著令愚弟代為轉告方兄，只要方兄以後忠於官家，便絕不會如同現在史相那樣冷落了方兄的！”
方書達立即站起來喜道：“多謝賢弟代愚兄從中斡旋，請賢弟代為奏報官家，方某對官家絕對是忠心耿耿，披肝瀝膽絕無二心，雖然眼下史相當權，但是方某眼中卻只有官家一人！”
高懷遠讓方書達坐下，呵呵笑道：“方兄的話我豈能不信！只是這些話方兄眼下也只能對小弟說說罷了！外人是萬萬不能讓他們聽到的！否則的話，恐怕史相那邊就容不得你了呀！不瞞方兄，現在因為聖上的關係，史相對我也很不放心，據說有意將我外放至利州路為官，假如果真如此的話，方兄你也要小心一點了！”
方書達心眼沒高懷遠多，聽罷了高懷遠的話之後當即便拍案而起怒道：“此話當真？”
高懷遠點點頭道：“據我在樞密院的朋友所說，胡榘他們已經寫好了奏章，準備奏請將愚弟外放至利州路，以我的品級，至多也就是讓我當個空頭的制置使罷了！此事假不了的！只是時日早晚罷了！”
方書達頓時怒了起來，焦躁的在屋子裡面轉了幾圈之後對高懷遠說道：“這老傢伙真是兩面三刀，今日還招我去他相府之中，和顏悅色的對我安撫了一番，說要我像你一般，只要對他忠心，便忘不了擢升我！沒想到這老傢伙背地裡面卻要奪了兄弟你的殿帥之職，將兄弟你趕出京去！可惱呀！那麼兄弟你又有何打算？還不速速運作一下，不要讓史相將你外放？”
“不妨事！兄弟我自有辦法，這件事方兄就莫要操心了！只是假如連我都要被趕出京的話，恐怕方兄前途也堪憂呀！史相眼下打算讓史松接替我為殿前司都指揮使，至於步軍司那邊，史相恐怕也是遲早另有安排的！”高懷遠真真假假的對方書達說道。
方書達聞聽之後不由得開始緊張了起來，趕忙向高懷遠問計。