為了杜絕楊素暴虐民夫，楊安再次上了一本奏章。
在奏章中，他重申天象異變，恰恰是因為暴虐民夫而引起。
並請求隋文帝派專人進駐修建行宮現場，監督楊素對民夫的暴虐行為。
隋文帝徵詢過高穎的意見後，最終同意楊安的建議。
幾天之後，楊安奉旨專門組織了一支監督調查隊，進駐行宮施工現場。，
這支隊伍，專門負責調查監督是否有虐待百姓的事情發生。
一旦發現民夫有傷者、病者，立即責令楊素的手下送醫。
因為有了這支監督調查隊的存在，楊素對待民夫的嚴厲措施，不得不收斂了很多。
此後，參與修建行宮的民夫，傷亡大大減少。
但是為了趕工，被徵召來的民夫，仍然不得不晝夜施工。
而楊安成立的監督調查隊，卻惹惱了楊素。
楊素認為，楊安的種種舉動，處處都在針對他。
尤其是成立的監督調查隊，嚴重耽誤了施工的進度。
為此，他多次在隋文帝面前說楊安的壞話，將施工進度慢的責任，全部推到楊安身上。
好在楊安早已跟太子那邊聯絡過，讓太子妃經常到獨孤皇后那問安，順便將楊素在修建行宮中殘害百姓的事，告訴了獨孤皇后。
獨孤皇后其實比隋文帝還要愛護老百姓，得知因修建行宮致百姓慘死，深為不安。
因此獨孤皇后多次告訴隋文帝，楊安做得很對，只有要對楊素的施工加以嚴格監督，才能再次避免百姓慘死。
哪怕施工進度緩慢，遲個幾年才能住進行宮，也不能暴虐百姓，致使天怒人怨。
儘管楊素藉修建行宮為由頭，多次進讒言，說楊安的壞話。
但隋文帝一想起皇后對楊安的看法，對楊素的話都置之不理。
楊安雖然沒能扳倒楊素，但終究做了一件功德無量的善事，避免了更多老百姓的死亡。
但天象並沒有好轉。
一個月之後的開皇十四年五月，京師大興城附近發生地震，致使關中農民歉收。
緊接著，關內諸州都出現旱情。
由於大興城所在的關中地區，地窄人稠，所產的糧食，平時就已經難以滿足關中地區人口日益增長的需要。
再加上這些事的接連發生，每次早朝時，隋文帝心情都十分沉重。
但更大的天災還在後面。
開皇十四年八月的關中大旱，無疑是雪上加霜。