1940年，新四軍新二支隊在副司令員廖海濤的率領下，活躍在江南地區打擊日偽軍。當年5月，廖海濤審時度勢，決定尋白菜一個較為有利的地形，誘使敵人主動進攻。經過詳細的勘察，他選擇了江蘇省句容縣赤山腳下一個名叫竇家邊的村子，在這裡駐紮下來，開始實施打的誘敵計劃。
廖海濤具體是怎麼做的呢？他讓負責籌糧的新四軍戰士，「不小心」把部隊的「行動計劃」洩漏給當地一個名叫竇三成的漢奸。竇三成果然中計，連夜就跑到附近的湖熟鎮日軍駐地，把新四軍要在赤山休整一天的「軍事情報」告訴了日軍南浦旅團崗本聯隊的吉田雍也中隊長。竇三成做夢也沒想到，這正是廖海濤希望他做的事，而且他的一切行蹤都已被新四軍偵察員摸得清清楚楚。
由於竇三成過去曾經向日軍提供過消息，吉田雍也對其非常信任，當即決定親自帶兵前往赤山，攻打新四軍。吉田雍也的上司崗本正彥大佐得知此事後，要求派三個中隊同時「進剿」。一向目中無人的吉田雍也卻不以為然，堅稱新四軍只是烏合之眾，只需要自己帶一個中隊就能將他們全部消滅。
5月14日早晨，吉田雍也率領100多名日軍，從湖熟鎮出發，直撲赤山。走到赤山腳下的黃木臺時，吉田雍也就架起九二式步兵炮，向近300米高的赤山頂破廟打了兩炮。
在今天看來，吉田雍也這樣「打草驚蛇」是讓人無法理解的，既然他打算全殲新四軍，為什麼發動襲擊後又公然發出「通報」呢？不過，他的真實想法現在已無從得知，我們在重溫這段歷史時，只能做出這樣的猜測：或許吉田雍也沒見到新四軍就放炮，第一種可能性是他走到山腳下，看到赤山的地形，才開始有些後怕，想用炮聲來嚇走新四軍；第二種可能性是他希望利用炮聲的威力，讓新四軍不戰自亂，他可以輕鬆殲滅新四軍；第三種可能性是吉田雍也想擺擺威風，嚇唬嚇唬當地老百姓。
隆隆的炮聲也傳到新四軍駐地，正在軍事地圖前埋頭沉思的廖海濤聽到之後，興奮地把面前的桌子用力一拍，大笑著說道：「哈哈，敵人果然來了，來得太好了！」
接著他又回過頭對旁邊的作戰參謀田進斌、黃有程說道：「有意思、有意思，敵人來進攻，居然先放炮通知我們作好準備，接下來我們可能好好招待這批『客人』！」
廖海濤說罷，立即拿起手槍和望遠鏡，帶著參謀和通信班的戰士，登上赤山西北的一處山坡觀察敵情。發現有一百多個日本鬼子向赤山方向走來。
廖海濤迅速對情況進行分析和判斷，果斷決定殲滅這股日本鬼子。他立即命令指戰員集合，作戰前動員：「同志們！現在日寇有一百多人向赤山過來，今天我們要四面包圍，痛痛快快地打它一個殲滅戰。」隨後，他迅速選定伏擊地點，下達了準備戰鬥的命令。
戰士們聽說要打殲滅戰，一個個摩拳擦掌，稱：「廖司令員的胃口不小呢！」戰士們都明白，這次來的是鬼子的精銳部隊，裝備精良，訓練有素，能打善戰，要殲滅他們，必有一場惡鬥。
上午10時左右，吉田中隊的鬼子大搖大擺地向赤山腳下走來，根本沒想到新四軍會在赤山腳下設伏，沿途只顧搶劫糧食和拉夫修路。不久，鬼子來到赤山腳下的河堤上。
當日軍全部進入新四軍的伏擊區後，廖海濤一聲令下，新四軍參戰部隊同時向日軍開火。隨著猛烈的槍彈聲和密集火力的打擊，大堤上的鬼子一下子倒下了三分之一，剩餘的鬼子頓時驚慌失措，紛紛倉皇逃命。
然而，這些鬼子畢竟是經過嚴格訓練的，雖四面被圍，身臨絕境，但仍死命頑抗。吉田經過一陣慌亂之後，很快鎮定下來，並組織火力反擊。敵我雙方反覆衝殺，槍炮聲、軍號聲、喊殺聲震蕩山谷。
激戰三個多小時，仍有小股日軍殘兵躲在一座拱橋底下負隅頑抗，拒不投降，妄圖固守待援。
廖海濤深知敵後作戰，必須速戰速決。於是他親臨火線，摸清情況，決定選一批投彈又遠又準的戰士組成突擊隊，用齊投的辦法，炸翻鬼子，結束戰鬥。隨後，突擊隊員將幾十顆手榴彈一齊投向拱橋底下。這一手果真見效，一陣手榴彈爆炸後，突擊隊員衝到橋底下一看，除了兩個受傷的鬼子外，其他的鬼子統統報銷了。
戰鬥結束後，廖海濤笑著對兩位作戰參謀田進斌、黃有程說道：「今天這一仗的勝利，要感謝這位日軍中隊長。」
田進斌、黃有程不解地問：「為什麼這麼說呢？」
「這位日軍指揮官不但乖乖地鑽進我們設好的伏擊圈，而且到了赤山腳下還放炮通知我們做好戰鬥準備，如果他不出這兩大昏招，我們要消滅他們肯定沒這麼順利！」廖海濤說完，又是一陣大笑，兩位作戰參謀一琢磨，還真是這麼回事，也都會心地笑了。
這一仗擊斃日軍吉田中隊長及其手下100多人，俘虜2人，一個中隊的鬼子無一漏網，還繳獲了一門九二式步兵炮和大量武器彈藥等軍用物資，這是江南新四軍第一次繳獲日軍九二式步兵炮。
赤山戰鬥的勝利，不僅鼓舞了江南人民的抗戰信心，也為新二支隊留在江南堅持抗戰、進一步鞏固和發展蘇南抗日根據地創造了有利條件。