國共第一次合作時，中山先生採納中共方面的建議，立即加緊建立和擴充革命軍隊，他授意廖仲愷先生在建國粵軍第二師成立一個獨立營，以配合黃埔軍校培訓下層的軍士，進一步壯大革命軍的骨幹隊伍，提高軍隊的戰鬥力。
由誰來擔任這個重任呢？廖仲愷先生首先就想到到了年輕的葉帥，他很熟悉和器重這個年輕的革命將領。這是因為，廖仲愷先生深知葉帥不僅是中山先生的忠實追隨者，而且是中山先生蒙難時刻的堅定保衛者，對革命忠心耿耿，累立戰功，能文能武，才華出眾。
於是，廖仲愷先生便決定派葉帥任獨立營營長，負責訓練，設營於香洲。香洲原屬中山縣(現屬珠海市)的一個沿海城鎮，環山面水，風景秀麗，與孫中山的家鄉翠享村相距不遠，深受革命影響。
葉帥上任後，便開始積極籌劃該營的成立，從招募兵員到組織訓練，他付出了很多心血。他親自帶領一個小分隊到陽江、電白一帶宣傳動員大批農村青年乘船來到香洲，參加革命軍隊。
獨立營初建起8個連隊，900餘名士兵，還有一批經過挑選的教官，陣容很是整齊。為了訓練好這批骨幹，葉帥制訂了具體訓練計劃，建立各種制度，確定軍事訓練與政治訓練並重的原則，努力使軍隊成為革命的軍隊。他強調「軍以黨化，黨以軍成」,要求革命軍隊與革命政黨保持密切的關係，不要軍閥，不鬧獨立性。
經過一段整訓，葉帥培養出了不少軍事人才，取得了巨大成效。不久以後，獨立營擴編為新編團，由葉帥兼任團長。
新編團成立後，開始了更加嚴格的訓練。葉帥以身作則，講解示範，把著手傳授軍事技術。葉帥很關心時局，高瞻遠矚，經常對士兵們發表熱情洋溢的政治演講，使大家懂得"革命成功階級滅」的道理。這樣，一群群愛國志士圍簇在葉帥的身邊，他們共商軍機，怒斥軍閥，隨時準備奔赴沙場，以身殉國。
廖仲愷先生沒有看錯人，葉帥以他出色的治軍才能，將新編團變成了一所培育人才的革命學校，為後來的革命鬥爭培養出了大量優秀軍事人才。