5月21號凌晨，日軍第127旅團封鎖了桃花山周圍所有的出口。清晨，日軍出現在了桃花山外圍陣地的前面，戰鬥正式打響了。
步兵第127旅團旅團長秋山充三郎少將，沒有吃過跟桃花山游擊隊打交道的苦頭，他想搶功，直接就指揮著步兵第102聯隊，向桃花山外圍陣地發起了進攻。
此時的桃花山除了原有的人員之外，周圍17個村的精幹民兵九百餘人，也全部進入了桃花山。他們在桃花山特戰隊的隊員們的指揮下，分別堅守各處防禦工事。
桃花山的防禦工事修得極其堅固，不僅使用了大量的鋼筋水泥，在碉堡的正面和頂部還加裝了鋼板，足以抗擊105mm的榴彈炮的直接打擊。日軍的大型火炮進不了桃花山，能夠攜帶的最大口徑的火炮，也就是九二式步兵炮。九二式步兵炮3.8公斤的炮彈直接命中碉堡，最多也能炸下一塊兒碗口大小的水泥。除非他們像高九那樣有本事，能夠總是命中一個點，否則的話，拿桃花山的這些堅固的防禦工事完全沒有辦法。
山上的工事修建得十分講究，日軍直接命中十分困難。這些工事不僅有明碉，還有暗堡，居高臨下，形成了交叉火力。整個山坡和山谷全部都在火力的控制範圍內，日軍的進攻部隊沒有任何的死角可以利用。
戰鬥打響之後，日軍的第102聯隊很快就吃到了苦頭。他們按照標準的步兵進攻戰術，首先開始炮擊，想摧毀桃花山上的陣地。一陣炮擊過後，他們看到山上那些碉堡基本上是完好無損。
他們只好出動步兵向山頭進攻。
日軍的尖兵部隊爬到了半山腰，就被猛烈的火力打得所剩無幾。日軍的大部隊開始進攻，被交叉火力打得傷亡慘重。
一會兒進攻就這麼結束了，日軍損失了一百多人，連半山腰都沒有上去。
日軍第102聯隊聯隊長急眼了，再次組織了進攻。這次他們衝過了半山腰，就遭到了大量的迫擊炮的轟炸。
日軍的迫擊炮無法看到山背後的目標，桃花山游擊隊在山背後反斜面的位置上，佈置了大量的迫擊炮，他們的觀察哨在山頂上，能夠清楚地看到日軍的動向，準確地指示目標，迫擊炮彈就像長了眼睛一般，不斷地落入了敵群，日軍的第二次進攻損失了將近200人，無奈地退了下去。
桃花山游擊隊躲在堅固的工事裡，無一人傷亡。
在山谷的另一側，日軍第45聯隊也發動了進攻。他們的結局也差不多，兩次進攻損失了將近300人，桃花山游擊隊依舊毫髮無傷。
步兵第127旅團旅團長秋山充三郎少將，從來沒有啃過這樣的硬骨頭，小小的桃花山，工事的堅固程度、炮火的猛烈程度，完全出乎他的意料。還不到上午10:00，他的部隊就已經損失了將近600人，這麼大的損失，已經趕上了當初他們攻佔南京城的損失。
秋山旅團長有點兒不敢再打下去了，於是他下令停止進攻，把情況向第114師團師團部彙報，請求戰術指導。
第114師團師團長下令停止進攻，等到各路日軍部隊對桃花山徹底形成合圍後，再部署進攻行動。
當天下午，日軍沒有發動進攻。游擊隊員們躲在堅固的工事裡，吃著可口的飯菜，談笑風生。
到了第二天中午，日軍的主力部隊大部分趕到了。一時之間，平月縣城、壽城縣城以及桃花山周邊的所有村鎮都擠滿了日軍，數萬日軍像蝗蟲一般，遍地都是。
第114師團師團長作為這次戰役的前線總指揮，把指揮部放在了桃園鎮。
他們信不過駐紮在這裡的治安軍，把李成武等人趕了出去，指揮部就設在了他們的營房裡。
這天下午，日軍在桃園鎮召開了作戰會議。會議決定，第114師團、第8師團、第167師團、獨立混成第九旅團，分別從東南西北四個方向進攻桃花山。從明天早晨8點開始，向桃花山游擊隊發動總攻。
日軍這次攜帶了上百門的九二式步兵炮、迫擊炮數百門，第114師團師團長就不相信，這麼強大的兵力和火力就攻不破桃花山。
第二天一早，日軍數百門火炮同時開火，把桃花山外圍各個山頭打得煙塵滾滾。隨後，數千名日軍同時向桃花山發動了進攻。