1949年，解放戰爭已進入最後階段。北平宣告和平解放後，2月1日，聶榮臻隨平津前線司令部進入了北平，此後主要是負責整編和改造起義部隊，整頓平津地區的社會秩序，為中央進駐北平作準備。很快，他與北平市長葉劍英被任命為中央軍委副總參謀長。
此時，總參謀長由周恩來兼任。
9月，葉劍英調往廣東任職，中央又任命聶榮臻接任他的北平市長和軍管會主任之職。這樣，聶榮臻一時之間身兼六職：副總參謀長、華北局第三書記、華北軍區司令員、北平市市長、北平市軍管會主任、平津衛戍區司令員。
起初，聶榮臻的主要工作還是北平市。
不久，總參謀長周恩來因為要籌備中央人民政府，精力都集中到那邊，軍隊的事情難以顧及，於是不得不將總參謀部和軍隊的工作交給唯一的副總參謀長聶榮臻。
中央軍委與黨中央住在一起，都在中南海。
這時軍隊的領導機關，還是戰爭年代延續下來的。聶榮臻後來說：
「總參謀部實際上還是毛主席由陝北帶來的那個小而精幹的班子，人數很少，總共只有20多人，主要是作戰部，由李濤同志負責。」
聶榮臻的辦公室設在中南海的春藕齋——這是一間大廳。中間用木板隔開，一分為二，一頭是聶榮臻的辦公室，另一頭就是總參謀部的作戰室。一切都很簡陋。蘇聯顧問團來了後，團長問聶榮臻：
「你們這個總司令部怎麼這樣呀？這也沒有，那也沒有。」
聶榮臻回答：「我們還在打仗，部隊很分散，物質條件仍然很困難，還沒來得及調整充實，只能因陋就簡吧。」
正是在這樣簡陋的條件下，聶榮臻帶著總參謀部，上下的工作效率卻很高——全國部隊的許多重大軍事決策和戰役，都是在總參謀部的協調和指揮下進行。
10月，新中國成立。不久，中央人民政府重新任命其人民革命軍事委員會（即中央軍委）的領導成員，徐向前被任命為解放軍總參謀長，聶榮臻為副總參謀長。可是，由於徐向前有病，一直在青島療養，因此，總參謀部的工作，一開始就由聶榮臻代管。
1950年初，為了方便工作，黨中央乾脆做出決定：由聶榮臻代理總參謀長。
這就是聶榮臻擔任代理總參謀長的前後過程。有趣的是，聶榮臻在新中國成立之初雖然兩次擔任副總參謀長，還代理過總參謀長，最終卻沒有擔任總參謀長。4年後，他直接成為了軍委副主席。