宇文化及在江都城逗留了一個多月，禍亂後宮佳麗，過足了皇帝癮。
但將領們聯合上書，要求宇文化及率眾北返，打回洛陽，甚至攻回長安城。
這讓宇文化及犯難了，因為他得到可靠訊息，洛陽已經被王世充控制，外圍被三十萬瓦崗軍包圍，要攻打洛陽，靠他十萬兵馬，如何能實現？
大興城被李淵佔據，建立了唐朝，改名長安城，擁兵二十萬，有函谷天險，攻入關隴，又談何容易？
因此北返，對於宇文化及而言，就是一件極其艱鉅的任務，很難實現。
何況不論是洛陽，還是長安、西北軍，都發布檄文，要誅殺宇文化及一家，為先帝報仇，他成為各方勢力欲打擊正名的物件，如同過街老鼠，人人喊打。
“北返太危險了，我們就在江都駐紮，橫掃李子通，輔公拓等勢力，在江南建立一個新的朝廷，不是很好嗎？”宇文化及覺得，老實待在江都，才是最好的避難方法。
十萬雄兵，加上地方兵馬，足以自保了。
裴矩道：“這恐怕不行，目前各領兵的將軍，聯合上書，聲稱這是下層軍官、將士的意願，他們遠離洛陽和關隴的家鄉，思鄉心切，他們凝成一股，如果大丞相不同意，他們可能會出現大批的逃亡，或新的叛亂。”
這裴矩原來是黃門侍郎，宇文化及叛亂之後，斬殺了一些大臣，但是裴矩跟他沒有多大過節，宇文家人也深知裴矩的外交才能，所以沒有加害，繼續任命他為黃門侍中。
除此人外，還有內史令封德彝、刑部尚書鄭善果等人，也被宇文化及留下活口，繼續做官，名義上輔佐傀儡皇帝楊浩，實則都要聽從他的號令。
“你們以為呢？”宇文化及雖然手段黑，心計奸詐，但在大局觀上還是欠缺，謀略不足，難做大事，所以在這件事上需要詢問幾位大臣的建議。
內史令封德彝道：“大丞相，這些禁軍驍果衛可都是在關隴、洛陽一帶招募，他們來到江都，對於氣候不適應，又戀家鄉和親人，無心留下，由於人數太多，一旦聚在一起鬧事，十萬大軍，很可能就會釀成另一場禍亂。”
鄭善果道：“楊廣不肯北返，才引起逃兵不斷，軍中埋怨，使得眾將軍的不滿，聯合起來兵變，如果大丞相效仿楊廣，遲遲不肯北返，留戀江南的安逸，很可能會被他人所取代，所以，必須謹慎對之。”
宇文化及聞言，臉色微變，因為他不會忘記，當初那些將領湊在一起，要謀反的理由，就是楊廣猜忌日重，不肯北返，要醉生夢死在江都，只等江都外的四處叛軍攻入此城，然後死在此地。
這是諸將的利用的藉口，也正是底層士兵最關心的問題，宇文化及自信思考，覺得自己若是不北返，很可能就是下一個楊廣，會被其他將領利用軍中怨沸之情，再次發動政變。
“諸位說的都有道理，這件事，不得不重視，倘若北返，幾位覺得，當如何進軍？”宇文化及詢問。