皇帝離開之後，勳貴宰輔相繼告辭。
或由李藥師親送，或由李客師代行。
惟有袁天綱，直至傍晚，仍毫無請退之意。
李客師知他有事要與李藥師聊談，便自先行回府。
李藥師領袁天綱進入書齋，崑崙奴奉上茗飲。
當時和璧雖然仍在府中，但他已有正式官職，不合繼續執役。
他已訓練出一批崑崙奴，服侍李藥師左右。
崑崙奴只粗通言語，於中土文化浸淫甚淺，對外往來又頗單純。
由他們日常隨侍，倒能省卻暗通訊息的顧慮。
袁天綱率先開口：“令君哪……”
邊說邊緩緩搖頭。
李藥師微笑道：“道兄可是對於今日結親之議，不盡認可？？”
袁天綱仍然搖頭：“令君既知，卻又何必？？”
李藥師收起笑顏，輕嘆一聲：“兒孫自有天命。這段姻緣並非我定，既是天命，何由我為？”
袁天綱也輕嘆一聲：“日前泓師雲遊至京，盛讚尊府門樓，曰居於此者，必能旺壯五世。貧道今日來此，原欲為令君賀。”
李藥師拱手謝道：“多承金口！！！”
“不敢！”袁天綱說道：“誠如陛下所言，尊府門樓若盡體制所限而建，則將高於國子監門樓。
而房相、杜相二府的門樓皆盡體制所限而建，實測或並未高於國子監，然因宅邸地勢略高，已與國子監形成競逐之氣。房、杜俱是文相，宅邸卻與國子監相扞格而不相倚持，只恐未能旺壯子嗣哪。”
李藥師只是緩緩點頭。
袁天綱輕嘆一聲，繼續說道：“杜相宅邸的地勢又略高於房相，競逐之氣，應驗之期，只怕更為緊迫啊。”
袁天綱之言，日後果真逐一應驗。
杜如晦次子杜荷、房玄齡次子房遺愛皆尚公主，先後捲入謀反事件，遭到處決，且都牽累二人之兄杜構、房遺直。
李藥師的爵位則依律傳承五世，其後這座府邸為李林甫所得。