並且揚言，太子趙元佐只是得了瘋病，從今往後，如果太子再要強行出宮，格殺勿論
太子自此，這才真正被軟禁
太平興國七年，公元984年，秦王趙廷美被勞改教養
臨走，還是給太子託信一封，訴說自己難處，希望趙元佐能夠看在叔侄情誼救自己一把
蔡元朗接到此信，立刻給太子呈上，太子看後也是淚如雨下，修書一封，告訴道，自己如今已經是泥菩薩過河自身難保，叔叔還是要靠自己擺脫皇帝黑惡統治才是上策
趙廷美接到信後，知道，所有人都有自己難處，只能放棄求太子計劃，另尋他人給自己說好話
雍熙元年(984年，趙廷美來到房州(今湖北房縣，因憂悸成疾而病逝，享年三十八歲
聽說叔父趙廷美死信，太子趙元佐更是惱怒異常，帶劍還要硬闖宮門，被身邊人好說歹說才被勸下
雍熙二年(985年，病情略有好轉，宋太宗很高興，為此而大赦天下。重陽日宮內宴會，趙元佐病剛好，不在赴宴之列，諸王宴會後回來，晚上經過趙元佐的宅第。趙元佐說:“你們都侍候皇上宴會，只有
我未到，這是拋棄我啊!“於是發怒，喝醉酒後在晚上縱火燒宮。宋太宗詔令派御史捕捉趙元佐，送到中書省審問，廢為平民，安置在均州。宰相宋琪率領百官三次上表，請求留趙元佐在京師。趙元佐走
到黃山，宋太宗召他回來，廢居南宮，派使者守護。諮議趙齊、王遹，翊善戴元叩頭請罪，宋太宗赦免他們說:“這個兒子我教他還不改，你們怎麼能輔導呢?“
這一年太子趙元佐被廢，立太子弟弟趙恆為太子
趙元佐被封江陵牧，被下放徐州，被趕出太子宮
在江陵牧任上，皇帝可能還是看在太子母親的份上，沒有施加更多懲罰
只是廢了太子師辛緣博，廢蔡元朗這個中書舍人為太原府從六品留守典軍孝，所有太子趙元佐身邊近臣都被勞改
本來，蔡元朗在宮中就已經做得不舒服，早就想調走，如今來了機會，他反倒是捨不得
面對太子，他說不出來的可憐與扼腕
太子若是沒有射那一箭有多好，太子若是沒有冤枉別人射的有多好，太子若大方承認是自己做的有多好，只是一支箭廢了太子身份，太子還只是個孩子啊
看看這些天太子寵辱不驚態度，看看這些天太子因驚發狂的表象，就足以明白，這一切不應該發生的
回到家，他與蔡曦聊天，告訴蔡曦，這些事後
蔡曦說，人各有命，那不是咱們這些老百姓可以考慮範圍之內的，說不上皇帝可能會看在父子情分上，饒了太子也說不定
蔡元朗只能無奈點頭