这段时间以来，高怀远停止了到他府上走动，显然也已经倒向了赵昀那边，虽然还会时常给他送一些芙蓉膏之类的礼物，但是以前的那种三天两头拜见他的情况已经不复存在了，史弥远有心想将高怀远招至府中警告一下，但是考虑到他也正在想法赶高怀远出京，于是便也断了这个念头，这些日子他自己也更加深入简出了起来，整日除了在府中听一些有关人等对朝政的汇报，看些地方的奏章之外，就只剩下抱着烟枪抽烟泡了。
不过史弥远忽然想起来一件事，现在他越来越离不开这种芙蓉膏了，即使半天不抽，也难受的要死，只要抽上一口之后，便会觉得十分舒服，精神肉体都十分放松，这让他终于开始感觉到了不安。
于是他便又请了几个御医，为他诊治身体，并且让他们看看这种芙蓉膏到底是不是毒药，但是这些个御医没见过这东西，也说不出来个所以然，虽然有御医认定此物之中有米囊花的成分，但是这个时代毕竟医术方面对于罂粟的成分还不确定，更不可能知道它的危害，只是知道此物也是用来止咳、止泻、止痛的药物，故此鼓捣半天结论还是没事！
史弥远虽然对芙蓉膏放心下来了，但是却又有了一种担心，眼下他吸的这种芙蓉膏，都是高怀远一手提供给他的，而高怀远只说这种东西乃是海外藩商带来的东西，却一直没说得自何人之手，假如将高怀远赶出临安的话，以后岂不断了他的粮了吗？现在史弥远已经彻底离不开这种东西了，于是便派人去找高怀远，向高怀远打听何处还能购得此物。
结果高怀远的回答很让他沮丧，高怀远对派去的人说，此物乃是一个藩商从很远的地方携来，具体地点他也不知道，只是每个月在泉州会有人给他送来一些，要是史弥远想要知道出处的话，请史弥远等一两个月之后，待他查问过手下之后，再做答复。
史弥远无奈之下，不敢轻易断了这条线，生怕没了这东西他没法过日子，于是只得将胡榘递给他的派高怀远到利州路为官的奏折给暂且压了下来，等着高怀远告知他何地能购得此物之后再说此事，于是便将支走高怀远的事情暂时给拖了下来。
不过史弥远还是不太放心高怀远，指使在殿前司之中的手下时刻监控殿前司诸军的动向，生怕高怀远这段时间突然间发难于他，并且史无前例的将方书达招入相府之中，温言安抚了一番，表示他对方书达的信任云云。
高怀远当晚便得知了方书达被招入相府的事情，于是立即派人请方书达过府一叙，方书达也如约赶到了高怀远的府中。
待方书达坐定之后，高怀远也不提及史弥远召见他的事情，而是对方书达说道：“方兄，今日愚弟请你过来，便是要告诉你，你的那封血书愚弟已经呈给了当今官家，官家十分高兴，着令愚弟代为转告方兄，只要方兄以后忠于官家，便绝不会如同现在史相那样冷落了方兄的！”
方书达立即站起来喜道：“多谢贤弟代愚兄从中斡旋，请贤弟代为奏报官家，方某对官家绝对是忠心耿耿，披肝沥胆绝无二心，虽然眼下史相当权，但是方某眼中却只有官家一人！”
高怀远让方书达坐下，呵呵笑道：“方兄的话我岂能不信！只是这些话方兄眼下也只能对小弟说说罢了！外人是万万不能让他们听到的！否则的话，恐怕史相那边就容不得你了呀！不瞒方兄，现在因为圣上的关系，史相对我也很不放心，据说有意将我外放至利州路为官，假如果真如此的话，方兄你也要小心一点了！”
方书达心眼没高怀远多，听罢了高怀远的话之后当即便拍案而起怒道：“此话当真？”
高怀远点点头道：“据我在枢密院的朋友所说，胡榘他们已经写好了奏章，准备奏请将愚弟外放至利州路，以我的品级，至多也就是让我当个空头的制置使罢了！此事假不了的！只是时日早晚罢了！”
方书达顿时怒了起来，焦躁的在屋子里面转了几圈之后对高怀远说道：“这老家伙真是两面三刀，今日还招我去他相府之中，和颜悦色的对我安抚了一番，说要我像你一般，只要对他忠心，便忘不了擢升我！没想到这老家伙背地里面却要夺了兄弟你的殿帅之职，将兄弟你赶出京去！可恼呀！那么兄弟你又有何打算？还不速速运作一下，不要让史相将你外放？”
“不妨事！兄弟我自有办法，这件事方兄就莫要操心了！只是假如连我都要被赶出京的话，恐怕方兄前途也堪忧呀！史相眼下打算让史松接替我为殿前司都指挥使，至于步军司那边，史相恐怕也是迟早另有安排的！”高怀远真真假假的对方书达说道。
方书达闻听之后不由得开始紧张了起来，赶忙向高怀远问计。
高怀远摇头道：“方兄且慢着急，眼下史相不放心的最主要的是愚弟，暂且还顾不上动方兄你呢，这件事还有回转的余地，你且暂时稍安勿躁，回去管好你的步军司诸军，过些日子我想出办法之后，自会通知方兄的！总之不管怎么样，兄弟都不会让方兄吃亏的！”
方书达对高怀远不存疑心，点头答应了下来，惴惴不安的离开了高府，回到步军司之中后，仔细思量了一番似乎有点琢磨出来了一点味道，虽然高怀远没有直说，但是他看高怀远并不为即将被赶出京而担忧，那么接下来高怀远该如何应对此事呢？他结合这段时间听闻的一些消息，坐在家中琢磨了一晚上，终于下定了决心，眼下史弥远明显是靠不住了，连高怀远他都不信任了，还可能会信任他这个曾经差点倒戈之人吗？故此眼下只有跟着高怀远跑了，只有这样才有他出头的日子。
高怀远一句话说的很隐晦，让他管好他的步军司诸军，那么这句话就一定有深意，虽然现如今步军司里面人员调动频繁，几个营中的主将都被换作了史弥远的人，但是并不代表着史弥远就彻底控制了这些兵马，毕竟大部分步军司的人都是跟着他起来的，还是有许多中低层的军官听命于他的，一时半会儿别人还真是夺不走他的步军司大军的指挥权，起码他手中眼下还有弩雄武、左右虎翼营等兵马，真要是有事的话，这几营兵马才是他的精锐，起码用来弹压其它几营还是有这个力量的。
方书达于是披挂起来，出步军司衙门开始在步军司诸军巡视了起来……
就在十月初三的这一天，史弥远躺在榻上抽着烟泡，忽然间发现盒子里面的芙蓉膏已经快要告罄，于是懒洋洋的招手对手下人吩咐道：“你去找高怀远，再索一些芙蓉膏回来，本相这里的芙蓉膏已经快用完了！让他再送一些过来！”
下人领命之后，立即出府到殿前司找高怀远，但是却没有找到高怀远，殿前司的人告知相府之人殿帅出城督训去了，让他晚上去高府寻找。
而这个下人也懒得费事，直接到高府告诉府中之人，要高怀远回来之后，安排人送些芙蓉膏到相府之中供相爷使用。
高怀远当晚回家之后，便得知了这个消息，对李若虎笑道：“看来老家伙用量越来越大了呀！现在还有几天时间，就让老家伙尝尝毒瘾发作的滋味吧！其他那些人恐怕也快用完了吧？”
话音刚落，府外便有人求见，高怀远摆摆手道：“去告诉他留言便可，就说我眼下不在府中！”
李若虎不多时便回来，笑着对高怀远说道：“果真不假，是胡榘府上的仆役过来了，也是求药的！”
高怀远哼了一声，笑道：“你安排人告诉他们，近期我未曾收到藩商的芙蓉膏，请他们稍候几天时间，待到到货之后，便会立即给他们送去！”
李若虎跑出去安排了一下，有人径自前往相府和胡榘家将高怀远的答复告知了他们，这一下史弥远还真是有点着慌了起来，查看一下盒子里面的存量，剩下的分量也只够他维持两天时间了，于是立即着人去找高怀远，催高怀远尽快送来。
而他为了应付不时之需，不得不熄了烟枪，打着哈欠倒头睡觉，减少一点用量，如此一来，只是半天时间没有吸芙蓉膏，史弥远很快便感到心烦气躁，浑身都不舒服了起来，忍了一阵之后，又是头晕目眩，又是浑身时冷时热，连浑身上下的关节都疼痛难忍，什么事情都做不下去了，焦躁的如同笼中困兽一般，满脑子都想着吸上一口。
无奈之下史弥远只好又拿出烟枪，躺下点燃，几口下去之后，便飘飘然了起来，身心顿时都变得十分舒坦，精神也焕发了许多，静卧了一阵之后，这才想起来还有事情要办，起身开始如同正常人一般的忙活了起来。
但是看着盒子里面越来越少的芙蓉膏，史弥远又一次让人去催高怀远，尽快送来一些芙蓉膏，省的再受这样的苦痛。