他自認才智、容貌強過兄長家光，因此哪怕明知對方將要繼承將軍大位成為自己的主公，也不改輕視家光的態度，兩兄弟之間的矛盾也由此越積越深，變得形同陌路。
元和六年，德川秀忠仿照父親的先例，將將軍大位讓給了竹千代自己成為大御所，而竹千代也正式選用了家光作為自己的名諱，成為了幕府的第三代將軍。因為自幼就憎恨弟弟忠長，所以他將打壓這個弟弟也當成了自己重要的事務來辦。
本來在秀忠在位的時候，他還算是得到了優待，按照德川家的慣例他領受了封地成為幕府的親藩。他被封於駿河國，經過幾次加封最後領有五十五萬石的領地，官位至大納言，也算是親藩當中的佼佼者。
可是家光開始掌權之後，對他的打擊和迫害就紛至沓來了，家光藉口幕府在駿河國的眼線報告了忠長的種種不法劣跡，指責忠長迫害領地內的人民，並且不聽家臣的勸諫。用這一系列的罪名，他將德川忠長的領地沒收，然後流放到了甲府，勒令他閉門思過。
更有甚者，在父親德川秀忠去世的時候，他還禁止德川忠長去為父親奔喪，只能繼續呆在軟禁地。就這樣，德川忠長失去了一切領地和尊榮，就連見摯愛的父親最後一面都不被允許。
這種莫大的羞辱，更加讓德川忠長對自己的這個哥哥充滿了忿恨之情，可是德川家光現在已經穩固了統治，父親死後又沒有人能夠為自己而向他求情，他也只能無可奈何地接受現實。
可是，哥哥家光的怒氣，似乎還是沒有發洩乾淨。在秀忠死後沒有多久，家光就藉口弟弟忠長在閉門思過期間還是沒有幡然醒悟，依舊劣跡不斷，於是下令將他再度流放到條件更加惡劣的上野國高崎城，將他禁閉在這裡。
而這也不是他迫害的終點。
德川忠長被流放到高崎城之後不久，家光就將自己從小身邊服侍的親信、現任幕府老中的稻葉正勝給指派了過來，負責處置德川忠長一事。
而自從老中稻葉正勝來到了高崎城之後，城外原本就十分嚴密的監視變得愈發緊密，他下令用白竹柵欄把整個高崎城都圍起來，不允許任何人隨意出入，而且還下令將輸入城中的供應物品僅限於食物和日常用品，再不允許他使用原本的器物，就連訊息也被隔絕。
用白竹柵欄隔離起來，簡直就像是中原王朝用高牆圈禁犯有不法行為的親藩一樣，只不過德川忠長的活動範圍要比那些藩王稍微大上一點點而已，但是本質上是同樣的意思。
從原本優越於所有人的地位，跌落到如今這種處境，德川忠長心中的失落和痛苦自然很容易想象得到。他明白哥哥德川家光是想要用這種方式來羞辱自己，逼迫自己自殺，可是這種日子實在太過於難受了，他幾次都想要乾脆以自殺的方式逃離這種處境，遂了哥哥的心願。
可是，雖然他多次下定了決心，但是每次走到最後一步的時候，還是因為對人世的留戀而停下了手。
呆呆地坐了片刻之後，他慢慢地從地上撿起佩刀，然後又長嘆了口氣。
只要日子持續下去，總有一天自己終於還是會忍不住動手的，也不用著急這一天吧。
“大人！不要做傻事！”就在這時，門外傳來了惶急的喊聲。
隨著這聲喊聲，一個穿著裃裝、做武士打扮的年輕人也衝了進來，然後跪倒在了地上，誠摯地勸解著忠長。
“將軍大人叫我去死，我怎麼能夠不去死？就算今天不死，總有一天還是會死的。”德川忠長苦笑了起來，把玩著手中的刀柄，“我死了，對你們來說不也是好事嗎？你們可以解脫了，不用留在這裡和我一起受罪，只要離開了我，你的哥哥是不會為難你的。”
“大人我一心只服從大人，只為大人著想，哪裡還有什麼哥哥！”這個年輕人以頭觸地，“此生我只追隨大人，絕不會向他人搖尾乞憐！”
他是稻葉正利，是外面那位老中稻葉正勝的弟弟，不過和從小就被安排為德川家光側近侍從的哥哥不同，他被安排到了德川忠長的身邊，並且很得德川忠長的信任。於是從小時候開始，因為德川兩兄弟之間的爭執，稻葉家兩兄弟也同樣開始反目，彼此的積怨和矛盾都很深。
在德川忠長被幕府授予封地、成為幕府親藩之後，稻葉正利也順理成章地成為德川忠長的家臣，而在德川家光流放弟弟的時候，稻葉正利也作為罪人的一員，隨同德川忠長一起被輾轉流放，最後來到了高崎城當中，倒也算是榮辱與共。
看到稻葉正利如此誠懇的樣子，德川忠長心裡也有些感動，他輕輕地將佩刀放到了剛才的案几上，然後閉上了眼睛。“這種日子，我也不知道能夠忍受到什麼時候過不了多久，你就能夠自由了。”
“大人，今天我正是來跟你報告的，剛剛聽到了的，一個天大的訊息！”稻葉正勝的臉色有些發紅，顯然還是沒有從剛剛得知訊息的興奮當中走出來，“大人你有救了！”
“什麼？”德川忠長迷惑不解。“什麼有救了？”
“大漢和幕府交惡，並且已經對日本出兵了，宣稱要討伐幕府恢復日本國內的綱紀，現在他們已經打下了九州島，並且準備進一步進兵！”稻葉正利一口氣將自己得到的訊息告訴給了德川忠長，“現在幕府已經是一片大亂，上下手足無措，稻葉正勝也被將軍召到江戶去商討對策了！”