雖然趙葵言辭強勢但是其實趙葵現在很弱，石斌怎麼能放過這個機會？立刻提議任命向士璧為河西四郡安撫使兼。稍稍想了想後又加了一條：賽張飛為安撫副使。二人仍兼任兩關統領。
那些支援石斌的官員自然也都紛紛附議，趙葵知道即使反對也沒有意義只好閉嘴。向士璧和賽張飛則再次升官，成了河西安撫使和安撫副使。
“趙大人一心為國是好的，但是你不能隨意誣陷人。”商定好任職後，石斌知道趙葵心有不甘，只好再次提醒道，“我石斌尊你為前輩，你也不能如此隨意誣陷。而且請你尊重朝廷的旨意。”
沒多久朝會就過了，石斌卻並未在朝會上提出讓趙葵致仕的建議，因為他感覺不太合適，畢竟不能欺人太甚。
在回府的路上石斌被王驛給李韶給攔了下來，對於二人在朝堂之上很聰明的率眾支援自己石斌非常高興，因為他看對了人。
“大人，下官和王大人有一些想法想和大人說。”李韶小心翼翼的說道。
“李大人，你為何如此緊張？有話就說，你應該知道，我從來不會因言治罪。”石斌笑道。
石斌的確不會因言治罪，但是李韶還是想了很久才開口道：“大人，你覺得趙葵怎麼樣？”
“趙葵？是一個忠臣、能臣。只不過太麻煩。”
“請問大人有沒有想過消除這個麻煩？”李韶問道。
從李韶的眼神、臉色和語氣中，石斌知道李韶並不會要害趙葵，應該就是想將他擠走，省得總是跳出來惹麻煩。
這豈不正好合了石斌心中的打算？心中自然欣喜異常，可惜不能表現得太過，故而石斌只能嘆口氣道：“誰說不想，但他是多年的宰輔，即使現在被貶為樞密副使仍舊有很高威望。豈能說貶謫就貶謫？若是那樣，恐怕要起不少波瀾。”
“大人，下官和王大人前來就是來獻計的。”李韶說道。
一聽二人是來獻計，石斌頓時來了精神，示意他們快快說出。
沒想到他們也是看中了趙葵年過七旬這個短板，表示可以讓趙葵多批閱一些公文，待他受不了後自然就會選擇致仕。
心中感覺讓一個七十多的老人處於高強度的勞動下太殘酷，所以石斌並未立刻同意，只是緊鎖眉頭默不做聲。也明白這辦法很卑鄙，王驛和李韶二人也不敢做聲，只是站在一旁當侍衛。
“不好，趙葵畢竟太老，壓力過大可能直接就一命嗚呼，這樣的話恐怕得不償失。”石斌過了一段時間後說道，“還有沒有其它辦法，再想一想。”
“大人，下官忽然又想到了一個辦法。批閱公文都是官員辦，但是具體辦事的則是那些小吏，若是那些小吏不實心辦事官員豈不是會非常麻煩？”王驛有些狡猾的笑道。
不實心辦事？這話讓石斌精神一震。確實，趙葵一日要處理的公務有一兩百件，當然不可能事必躬親。如果他手下小吏敷衍了事，那他趙葵可就麻煩了。很快就會成為眾矢之的，會很難在臨安立足。
“王大人的這個辦法不錯，雖然趙葵會很著急，但是以他的身體絕對只能坐著乾著急，關鍵是不會累出病。”石斌十分贊成的說道。
定下這麼一個策略後，交給趙葵公文的速度變得慢了，趙葵手下小吏辦事的速度也慢了。這樣兩邊相加，趙葵一天批閱的公文由原來的兩百件銳減到不足一百二十件，越來越多的公務被堆積起來，其他官員的抱怨也越來越多了。
明眼人一看就知道這是石斌要擠走趙葵，要他在年評不合格，最後名正言順的將其貶謫，不再能掣肘石斌。
這樣的小伎倆趙葵也很快就看了出來，但趙葵這次卻並未去找石斌理論，因為在他看來再理論也無用，不如干脆聯合同路人做好手中工作。必須說還是有人支援趙葵的，所以趙葵的情況又好了一段時間。只不過石斌一方勢力太大，很快就讓趙葵等人的情況再次變得危急，快舉步維艱了。
如此持續了一個多月，但情況繼續惡化。趙葵畢竟死黨不多，當官是來謀富貴不是來樹敵，更沒人願意得罪煞神石斌，原先的支持者接連離開趙葵，選擇了隔岸觀火。
這樣持續了大半年，到了開慶三年底（1261）官員評審，毫無意外，趙葵被評了個下上。按照大宋的律法他被貶出臨安去當永州知州。不堪受辱的趙葵則請求致仕，理宗自然不肯。理宗可不敢以一己之力對抗石斌，但是無論他如何請求趙葵留下，趙葵還是致仕歸鄉了。