寺內壽一對於打通津浦鐵路還是十分重視的，他知道在魯南一帶，高九在日偽軍中的影響力都很大，因此他特地把第四師從遙遠的魯東北地區調了過來，就是認為這支部隊跟高九沒有任何的關係，這樣才能夠保證這支部隊能夠認真地跟高九作戰。
偽軍第四師的部隊進入了泰安城之後，日軍第141的師團長要求，第四師除了師部機關可以留在泰安城裡之外，其餘的的部隊開出泰安城，駐紮在津浦鐵路的兩側。
魏立明藉口部隊需要補充物資給養，將第四師部隊離開泰安城的時間向後推了五天，然後把這個情況向高九做了彙報。
經過商議，高九下了進攻泰安城的決心，計劃於明天凌晨4點，展開行動。
偽軍第四師進入了泰安城之後，泰安城的東門和南門交給了第四師來把守。
王佔奎、郭恆明率領桃花山游擊隊，化裝成偽軍，在第四師的接應下進入了泰安城裡，和第四師的官兵一起配合地下黨主力部隊進攻泰安城。
為了打下泰安城，地下黨魯南軍區調動了魯西南獨立旅、魯東南獨立第二旅、四個警備團、九個縣大隊，總兵力一萬兩千餘人。
這些是魯南軍區的大部分家底了，地下黨負責人、高洪、陳志勇等人並沒有感到緊張，因為有高九在，他們充滿了必勝的信心。
初春時節天黑得早，到了晚上8點天就已經完全暗了下來。
高九等人率領著大隊人馬開始向泰安城進發。
凌晨兩點半，泰安城的南門開啟了，治安軍第四師師長魏立明親自在門口迎接高九等人率領的大隊人馬，進入了泰安城。
凌晨3:40，一支日軍的巡邏隊從第141師團的大門前經過。
他們走出大約十分鐘，一支日軍的巡邏隊開了過來。
在這大門口站崗的日軍哨兵覺得有些奇怪，泰安城很大，日軍的巡邏隊經過司令部大門前，一般需要50分鐘左右，他不明白為什麼這支巡邏隊來得這麼快。
眼看著日軍的巡邏隊朝著大門口走了過來，日軍的哨兵十分警覺，開口問道：“口令。”
日軍巡邏隊帶隊的少尉軍官回答道：“富士山下，回令。”
日軍哨兵回答道：“櫻花盛開。”
他雖然有些警惕，可是這城裡駐紮著上萬的日軍，還有一個師的偽軍，再加上對方口令回答得正確，他也就沒有多想，只是問道：“少尉閣下，你們有什麼事情嗎？”
日軍少尉說道：“我是來送緊急公文的。”說著就開啟了隨身攜帶的皮包。
日軍哨兵以為他要從裡面掏出什麼檔案來，就上前檢視，卻看到日軍少尉從皮包裡掏出了一支手槍。
哨兵瞪大了眼睛，剛要喊叫，少尉已經開槍了。
安裝了消音器的手槍發出了撲撲的輕響，兩個日軍的哨兵無聲無息地倒了下去。
日軍少尉迅速衝進了司令部的大門，他們首先消滅了大門旁邊值班室裡的日軍，然後掏出手電筒對著大門外畫起了圓圈。
很快，大批身穿治安軍軍服的桃花山游擊隊隊員衝進了日軍的司令部，為了避免誤會，他們扔掉了頭上的帽子，戴上了桃花山游擊隊的戰鬥帽，脫下了上衣，露出了裡面桃花山游擊隊的黑色制服。
同樣的一幕，在城中日軍各個重要的單位發生著。
在日軍的司令部辦公大樓門前，化裝成日軍巡邏隊的游擊隊員們如法炮製，打掉了日軍的哨兵。
就在他們推開大門的時候，被前來換崗的日軍哨兵發現了，他們鳴槍報警，戰鬥打響了，很快整個泰安城裡槍聲大作。
進入了司令部大樓的桃花山游擊隊員們，按照魏立明給他們提供的圖紙，迅速奔向事先已經看好的目標。