民國時期的部隊編制經歷了多次改動和變化，作戰序列裡又分為嫡系和雜牌，編制更是不能統一而顯混亂，本文只能作大概說明。在黃埔黨軍建立之初，其基本編制受蘇聯軍制影響，以「三三制」為原則（裝備訓練也是蘇式的），比如1925年8月第一軍正式組建時，即下轄三師九個團，團以下仍然以「三三制」為基準分設三營、營轄三連、連轄三排直至各步兵班。
這個期間由於軍職設置也模仿蘇俄，所以連隊是有「副連長」以及「副排長」職務的，同時還特別設置了各級政治指導員和黨代表。比如黃埔一期的杜聿明畢業後，最先就是分配到第一軍的前身：教導第1團，在該團第一營第三連當見習官兼軍需上士，不久晉升為第二排「副排長」，後來又輾轉回到老家陝西，在國民二軍高桂滋團的補充營擔任「副營長」兼第一連連長。
從1928年起由於跟蘇聯徹底翻臉，以及軍閥混戰的不斷進行，蔣軍以及各地方實力派軍隊的編制堪稱五花八門，根本沒有一定之規，所以也沒有討論的必要。直到1930年中原大戰結束，蔣軍用武力壓服各地方實力派以後，開始進行陸軍編制整理工作，此時已經從「師俄」開始向「師德」轉變，步兵師開始實行兩旅四團標準的「方塊師」，基層軍制也有所調整。
根據《民十九年陸軍暫行編制表》的規定，步兵師又分為甲、乙、丙三類，步兵團則下轄三個步兵營，每個步兵營下轄三個步兵連和一個機槍排，而步兵連則下轄三個步兵排和一個供應班。那麼連級部隊軍官配置情況如何呢？全連共有軍官5名，軍士16名和士兵145名，總計166名官兵。
重點在這5名軍官的職務上，其中有三名少尉軍官是步兵排長，一名是連長，而另外一名是連部「教官」（平常訓練部隊的），所以在這一時期，蔣軍確實沒有了副連長的職務，不過這名教官也等於是連長的助手，所以也經常被稱為「連副」，但其實跟副連長的職務還是不能劃等號的，畢竟名不正言不順，而「副排長」乾脆不是軍官編制，多以資深軍士擔任。
到1936年開始進行「調整師」的編制設置時，根據「民國25年陸軍整理草案」的規定，每個步兵團轄步兵三營、通訊一連、重機槍一連、迫擊炮一排，而步兵連的額定編制為：全連官佐5員、軍士14名和士兵147名，全連168人。故而可以發現，儘管連以上編制有所調整，但步兵連的規模、官兵額定設置的變化不大，仍然是一名連長一名教官和三名排長，未設副連長職務。
這一時期蔣軍的軍職設置也借鑑了一些北洋軍制，為了安置整編後裁汰下來的大批編外軍官，開始在團以上單位設置「附員」，比如之前專門介紹過的中校團附李天霞、謝晉元，上校師附張靈甫等等，其中在團級設置中校和少校團附各一人，但不設專職副團長。不過呢，那個中校團附由於銜級較高，一旦團長不能視事基本就是他接管部隊了，所以經常被稱為「團副」，注意是俗稱而非官稱。
這個編制一直延續到抗日戰爭爆發，經過一年多的實戰檢驗後，蔣軍也開始對編制進行檢討和調整，在1938年底的第一次南嶽（衡山）軍事會議上，將原有的兵團、軍團、旅三級建制全部裁撤。同時考慮到戰爭時期各基層軍事主官經常陣亡或者負傷的情況，而又沒有「法定繼承人」不利於作戰指揮，團以下單位遂開始設置專職副職，於是有了副團長、副連長等職務。
其實在抗戰勝利後的1946年，蔣軍再次整編時也進行了相當的編制和職務調整，如果展開的話那就沒頭了，以後再介紹。至於許多抗戰老兵回憶說沒有副連長設置，那是因為抗戰初期確實沒有；而《我的團長我的團》劇中出現副職，則是因為中國遠徵軍踏出國門的時間已經是1942年。
研究這個問題不能以靜態模式，因為蔣軍的編制和配置，始終在發生變化。《我的團長我的團》裡面阿譯原來是少校營長，後來的職務是什麼？炮灰團副團長嘛！