至道二年冬，臘月二十三，朝廷舉行特大祭祀典禮祈福活動
顧君初統一指揮自己屬下，全權負責此次祭祀策劃，執行，一切活動
當時禮部分了三夥，一夥是以自己為首的守近為人派，一夥是辛緣博老夫少俠派，一夥是以另一禮部侍郎張道和為首的守近守老不參合派
按照顧君初想法，那兩夥他一個沒用，全用的自己得力心腹
祭祀活動如期完成，但是皇帝在完成祭天儀式後，及多年顧君初回憶，最遺憾，還是皇帝沒有再稱讚自己
因為顧君初和新任太子師袁同和走得越來越近，辛緣博的黨徒對顧君初人身攻擊越來越甚，罵顧君初什麼的都有，又逢顧君初沒事又和太子洗馬錢敬走得近，朝中罵顧君初的人更多
至道三年春，也就是皇帝趙光義祈福祭天儀式後的第二個月，山東青州府傳來奏報，說，青州遭遇海嘯，福建福州奏報，說，福建福州遭遇旱災，河南交州發生蝗災
皇帝趙光義聽聞奏報，腦筋繃起多高，*的，這禮部尚書辛緣博在拿我開玩笑，說什麼上天預警，說什麼皇帝祭天祈福都是扯淡
命人，連著將三道奏章抄好，一併送到禮部尚書府辛緣博，並且，在奏章中寫下這段話，我已經連續半月沐浴，老天照樣降下天災人禍，是禮部尚書辛卿家會錯上天的意思了
辛緣博接到奏章，看後，大吃一驚，沒想到，皇帝會如此在乎所謂的上天預警，會如此看我這個禮部尚書
寫了一篇奏摺給趙光義，奏章內容道，我原先只是一個躬耕山野的教書匠，因為感念天恩，皇帝有愛才惜才之心，這才出仕為官，當了多年太子師，做了當今禮部尚書，自詡為人還算過得去孔子，性情稱得上是老莊，但對於禮法，我還是有些生疏，我自願罰俸一年，以謝自己在禮部尚書這個職務上的疏忽
皇帝看過奏章後，對辛緣博的怨恨少了許多，回覆只有一句話，准奏
辛緣博這才明白，其實，所謂的六部，所謂的尚書，在皇帝眼裡，根本就什麼都不是，只是一個自認有罪，就被准奏
皇帝是如何的寡義啊
哪知，事情過去僅有一個月，忽然傳來福建，廣東沿海，又發生特大地震，這次地震在有史以來，算得上是特大
皇帝趙光義看完奏章後，更是氣不打一處來，命人抄奏，再次送給辛緣博
辛緣博看完後，突然開竅了，原來，皇帝是逼自己高老還鄉啊，立馬做書一封，請求辭仕告老，這種皇帝保他有何用！
還未等他將奏摺上交，宮裡就傳來趙光義殯天的訊息
至道三年春三月，趙光義與世長辭