中國高等教育歷史悠久，每個時期都有國家的「最高學府」。中國的最高學府，在新式西方教育進來之前，一直都是由國家承辦。在遠古的五帝時期是「成均」，夏朝為「東序」，商朝為「右學」，周朝「上庠」，漢朝至晉朝為「太學」；隋朝開始的「國子監」，歷經唐宋元明清，都是中國古代的「最高學府」，同時也是國家教育管理機構，直到1905年12月6日清政府廢除國子監設立學部。國子監的廢除也標誌著延續了四五千年的中國傳統高等教育和「最高學府」的終結，也標誌著新式高等教育的正式開始。
國子監被廢除之後，京師大學堂（北京大學的前身）接收了國子監未畢業的學生，京師大學堂還負責統轄全國學務。由於當時的北京就是清政府的「首都」，且京師大學堂在籌建之初就擔負著「京師大學堂為各行省之倡」的重任，又承接了國子監的職能，京師大學堂毫無疑問就是當時中國的「最高學府」，這也是北京大學第一次成為中國「最高學府」。
封建帝制被推翻之後，中華民國建都南京，北京不再是「全國首都」且被改名為「北平」，北京大學也失去了中國「最高學府」的地位，代之而起的是「國立中央大學」。國立中央大學肇始於1902年成立的「三江師範學堂」，1921年成為國內兩所綜合性大學之一的「國立東南大學」，1923年合併南京高等師範成為當時全國學科最齊全的大學，1928年成為「國立中央大學」。國立中央大學成為中國「最高學府」，不僅僅因為她地處首都南京，還因為她雄冠全國的「學科最齊全和學生最多」的辦學規模，以及曾經力壓日本東京帝國大學（即今日日本東京大學）和新加坡國立大學、高居世界大學排行榜亞洲第一的雄厚實力。
隨著新中國的成立，中國的首都再次由南京變為北京，國立中央大學也變更為「國立南京大學」。在1952年的院系調整中，南京大學眾多院系被調出獨立辦學或合併建校，僅原金陵大學的文理學院併入，7大學院35個系最後僅剩下文理十幾個學科。北京大學雖然也在院系調整中調出了部分工科專業，但她不但全盤接納了燕京大學和清華大學的文理學院，還接納了輔仁大學的哲學系和西語系，並且包括院系調整「五大母校」南京大學、浙江大學、廈門大學、武漢大學、中山大學在內的諸多高校，都有院系併入北京大學，讓北京大學一舉成為匯聚北大、燕大、清華、輔仁「北平四大名校」以及全國眾多頂尖名校大師的文理雙科「最高學府」，全盤接納並遷入中國最美的燕京大學的「燕園」，加上地處首都飽享的政策傾斜，一舉奠定了北京大學在中國高等教育中的「霸主地位」，也讓北京大學取代「國立中央大學」再一次成為中國的「最高學府」。
雖然清華大學與北京大學齊名，雖然清華大學在大部分國外世界大學排行榜上位列北京大學之前，但在大部分中國人的心中，只有北京大學才是中國的「最高學府」。在可預見的將來，只要中國的首都沒有遷離北京，北京大學將一直是中國的「最高學府」。