李清照僅被收押九天就被放出來了，秦會之夫婦也沒告訴她實情，她只以為是趙明誠生前的好友綦崇禮幫的忙，還特意前去感謝一番。
紹興二年八月，秦會之受同為宰相的朱勝飛彈劾，趙構遂找了藉口罷免秦會之的相位，任用他為觀文殿學士，僅出入侍從備顧問，並無實權，不久又被派去做溫州知州。
溫州距離宋的首都杭州很近，王季然確很喜歡這裡的生活，這處地方集山、江、河、湖、泉之大成，景色美妙，她便時常出去遊玩散心，秦會之卻抑鬱不得志，日日夜夜都想著復官，王季然就強逼他跟著自己去遊山玩水，一段時間過後，她一掃往日陰鬱，整天眉開眼笑，秦會之的眉頭也漸漸舒展。
於他而言，她已經漸漸成為他的一個部分，見她開心，他也暢快起來，只是內心仍存著不平，他不想偏安一隅，而王季然已經開始打起了其他算盤。
之前他們夫婦一直沒有自己的孩子，早就想收養一個，受戰爭影響，這件事才被擱置下來，現在重新有了閒暇時刻，她便想從親戚朋友那兒領一個孩子養在膝下，正巧打著瞌睡遇到枕頭，她的大哥王遠剛把外室生的兒子認回來了，想送到溫州，記在他夫婦名下。
多年無子，秦會之也習慣了，金營生活的嗟磨使他的內心漸漸變得冰冷麻木，聽到這個訊息，他的心裡並無多大喜意，但見她開心，他也笑著點頭，登時讓人把秦熺接過來。
秦熺已經十七歲了，倒是知書達理、文質彬彬，到溫州後也是日日請安，從不懈怠，王季然卻始終與他親近不起來。
“良人，我給你納個妾吧。”王季然沉默許久後終於說出這句話，彼時秦會之在看書，聞言用見鬼的眼神看她，她嘆氣，說道：“從前我只心想著獨佔你，但現在越大才越明白，你若想走，若想掙扎，我攔不住你。”
“阿婆在世時一直想抱上你的兒子，那麼多年過去了，心願始終無法達成，我也不想看你斷了香火，我已經從行老那兒領了一個漂亮娘子，你若是看得上，就收進房裡吧。”
他放下書本，朝她招招手，說道：“你過來。”
她走過去，他讓她坐到對面，認認真真地端量她好久，又不言語，轉身從架子上拿了兩幅畫，放在書案上，慢慢開啟，說道：“這是你當年還未嫁給某時的畫像，當年我掛在書房，四哥幫某收好了，前幾日剛帶過來。”
第一幅畫中少女站在梅花樹下，指間輕拈花瓣，笑意盈盈，比嬌花更美，另一幅的她趴在樹幹上，笑容天真，看著看著，她掉下淚來，道：“好多年了。”
“這也是你。”他又找了一幅畫，開啟，畫中是她剛回到杭州，坐在船頭流淚的情景，畫中人長相沒什麼變化，只是行舉姿態多了幾分柔弱，王季然捂臉痛哭，被捂住的眼裡分明帶著鬱色。
秦會之摟她入懷中，沉聲道：“不是說要霸佔某一輩子嗎？怎麼妥協了？”
“我不想，不想！”王季然抽抽搭搭道：“想到會有其他人站在你身邊，我就恨不得發火，恨不得撕碎你們。”
“既然如此，為何要叫某納妾？”秦會之替她整理髮梢，說道：“你不願，某也不願，有你就夠了，其他人，煩躁。”
“可是，若是斷子絕孫……”
“有熺兒，他記在我們名下。”秦會之安慰她，說道：“現在你們認識不久，多多少少會有些生疏，等日後兩人熟悉了，他自然會將你當成親的媽媽看待，這與親生孩子又有什麼區別呢？”