幹部等級制度是軍隊建設的一項重要內容，對部隊的正規化建設、制度化管理、調整軍內各種人員之間的利益關係、調動廣大官兵的積極性具有重要作用。我軍在戰爭年代，因受條件所限，始終沒有建立起幹部等級制度，物質待遇基本上官兵一致。中央軍委曾於抗日戰爭爆發後的1939年和抗日戰爭結束後的1946年兩度提出實行等級制度，但因「超過現有物質基礎」和大規模內戰爆發而被迫中止。
新中國成立後，我軍的物質基礎有了較大的改善，軍隊正規化建設開始起步。經過幾年的準備，我軍的幹部等級制度於1952年正式建立起來。此後，我軍幹部等級制度大體上經歷了以下四個時期：
新中國成立不久，我軍幹部等級制度的建立就提到議事日程上來。1950年9月，朱德總司令在軍委總幹部管理部全體會議上提出：「部隊三等九級的等級制必須建立，儘量爭取在明年的服裝上把階級標明出來。」這裡說的階級，就是軍銜等級。
同年11月，總幹部管理部召開全軍第一次幹部工作會議，重點討論了幹部的評級問題。1951年2月15日，中央人民政府人民革命軍事委員會發布《關於幹部評級工作的指示》，規定凡人民解放軍所屬陸、海、空軍各兵種，所有部隊、機關、學校，全體幹部均進行評定；凡任職三年的班長，及具有五年軍齡之警衛員、通訊員、電話員、偵察員、衛生員、駕駛員、老戰士等均可參加評級。並確定全軍幹部的評級工作於當年完成。後因中共中央提出整黨任務，為了使評級工作在思想、組織上作充分的準備，中央軍委又決定1951年進行試評，取得經驗，1952年結合整党進行。經部分軍區試評後，1952年4月根據總幹部部指示，全軍幹部評級工作全面展開，並於當年基本結束，正式建立了我軍幹部的等級制度。
新中國成立後我軍第一次評定的幹部級別與現在幹部級別不同的是：第一，大軍區級高於軍委委員級。當時的軍委委員有20多人，而大軍區司令員、政委則不到10人（有些是司令員兼政委），所有的大軍區司令員和政委都是軍委委員。第二，軍以上為兵團，與當時部隊實際編制相同，野戰部隊為野戰軍（與大軍區同級）、兵團、軍、師；軍區為一級軍區（大軍區）、二級軍區（兵團級）、三級軍區（軍級）、軍分區（師級）。第三，兵團、軍、師、團均為正、副、準三級，各級正職為「正級」，副職為「副級」，參謀長、政治部主任為「準級」。第四，最低一級為副排級。
此後，這一等級體系除了個別級別稍有調整，基本上沒有太大變化。1955年1月全軍軍官實行薪金制時，幹部等級取消了軍委委員級，從軍委主席至副排級共20級。1960年，軍委主席、副主席級改為元帥級，其他級別不變。
我軍1955年實行軍銜制後，軍人薪金仍以幹部級別為標準，軍銜沒起什麼作用。只是從1958年3月至1965年3月的軍官住房面積、1957年1月至1965年5月因公外出的交通席別上，是以軍銜為衡量標準的。其他福利待遇，仍是以幹部級別為基本標準的。
實行國家機關行政幹部級別時期（1965～1980年）
上世紀60年代初，中國經歷了三年自然災害、中蘇關係破裂、國民黨蔣介石集團叫囂「反攻大陸」等重大經濟、政治事件。黨中央提倡艱苦奮鬥，勤儉節約，發揚光榮傳統，密切黨群關係、幹群關係、官兵關係，縮小等級差別，防止修正主義。1964年，為了保持我軍艱苦樸素的光榮傳統，增強軍隊和地方的團結，軍委考慮減低軍隊幹部的薪金，同地方幹部適當拉平，並擬定了減薪方案，由主持軍委日常工作的賀龍元帥和總參謀長羅瑞卿大將到北戴河向毛主席匯報。1965年2月，中央軍委正式作出《關於改革軍官薪金制度的決定》，將軍官現行級別改定為國家機關行政幹部級別。當時稱為「減薪定級」。軍隊幹部減薪定級後的級別，設23級，但1、2、3級的工資額相同，實際上可以視為同一級。
軍隊幹部級別與國家機關行政幹部級別，原本是兩個不同的等級系列，因牽涉到軍隊幹部轉業到地方套改行政級別等問題，早在1953年8月，中央人民政府政務院在《關於軍隊轉業人員待遇問題的補充通知》中，對軍隊團以下幹部與國家工作人員的行政級別，首次做了規定。1957年7月，國務院重新公布《軍隊幹部級別與國家機關行政人員工資級別比照表》，對軍隊正師以下幹部與國家工作人員的級別比照，規定如下（其中團以下級別的比照與1953年的規定相同）：
正師級，比照11級；
副師級，比照12級；
準師級，比照13級；
正團級，比照14級；
副團級，比照15級；
準團級，比照16級；
正營級，比照17級；
副營級，比照18級；
正連級，比照19級；
副連級，比照20級；
正排級，比照21級；
副排級，比照22級；
正班級，比照23級。
軍級以上幹部如轉業地方工作時，按其新任職務和本人的具體條件評定。
這次改行國家機關行政幹部級別，主要以原軍隊級別為依據，並參考幹部的任職。1965年2月，中央軍委對軍隊各級基準職務改定地方行政級別的定級幅度做了規定：
總參謀長，總政治部主任：3～6級；
副總參謀長，總政副主任，總後部長、政委，軍區、軍兵種司令員、政委，軍事科學院、高等軍事學院院長、政委：4～7級；
總後副部長、副政委，軍區、軍兵種、副司令員、副政委、參謀長、政治部主任，兵團、海軍艦隊、軍區空軍司令員、政委：5～8級；
軍區、軍兵種副參謀長、政治部副主任、後勤部部長，兵團、海軍艦隊、軍區空軍副司令員、副政委，軍長、軍政委，省軍區、要塞區、守備區、海軍基地、艦隊航空兵司令員、政委：7～9級；
副軍長、副政委，軍參謀長、政治部主任：8～10級；
軍副參謀長、政治部副主任，師長、師政委，軍分區司令員、政委：10～13級；
副師長、副政委、師參謀長、政治部主任：11～14級；
師副參謀長、政治部副主任、後勤部部長，團長、政委：13～15級；
副團長、副政委、團參謀長、政治處主任：14～17級；
團副參謀長、政治處副主任，營長、教導員：16～18級；
副營長、副教導員：17～19級；
連長、指導員：18～21級；
副連長、副指導員：19～21級；
排長、司務長：21級、22級。