中國古代，不同時期的地方行政機構有國、省、道、路、府、州、郡、縣等行政區劃名稱，從這些區劃名稱的出現和演變過程，可以大致看出地方行政體制的不斷完善的歷程。下面簡單說一說這些名稱的由來。
國。在夏、商時期，分散的各部族均稱為國，故有執玉帛萬國之稱。西周實行分封制，天子建國，諸侯立家，國家始合稱為一，而諸侯也自稱為國。從西周到春秋，國一直也作為都城的稱呼。西漢分封諸侯王，其封邑都稱為國。
西漢初期，諸侯王擁有較大的獨立性，經過文、景兩帝的削藩，至漢武帝時，諸侯王的國已經為郡縣系列所代替，諸侯王只能食其俸而不治其事，具體的政務由中央直接任命的國相負責。西漢以後，歷代都有宗室封王制度，除少數朝代的封國有相對的自治權之外，諸侯王均不管理所封國內的事務，由朝廷派遣的官員進行管理，實際上是納入地方行政序列。
省。本來是官署名，如尚書省、中書省、門下省、秘書省等。這些省最初都設在宮禁之中，因西漢時避免外戚王禁之諱，改禁為省，故名。為加強對地方的控制和集中處理某些政務，魏晉時期曾經將主管中央政務的尚書臺部分官署臨時派駐地方，稱為行臺。隋及唐初的尚書省亦曾設行臺於外。
元世祖忽必烈為了有效地控制全國，把行省變為固定的行政區，行省即行中書省，或簡稱為省。明初繼承元制，地方設行中書省，洪武九年，在未廢除中書省的情況下，率先廢除了地方行中書省，改制為承宣布政使司，清代在明制的基礎上，將全國劃分為18省。
道。漢代時是少數民族聚居地區的特別行政區，相當於縣級。唐太宗貞觀十年（626年），分天下為關內、河南、河北、河東、山南、隴右、淮南、江南、劍南、嶺南等10道，派遣黜陟使或觀風俗使分巡。開元二十年（732），設置10道採訪處置使，並成為定製，次年又改10道為15道。
乾元元年（758），唐王朝宣布廢除15道，但藩鎮割據勢力基本還是以原來道的政區範圍劃分勢力，道則成為地理區劃名稱，一直沿用到五代。宋代改道為路。從明中葉以後，道基本確定有固定的轄區，向地方行政區轉化的趨勢已經形成。清乾隆時，道成為省以下、府以上的固定行政區，或是專管某一方面的特別職官。
路。始設於宋。宋初為加強中央集權，仿照唐代的道制，分所統轄領土為21路，為當時地方最高一級行政區。元代的路為省以下的行政權，最盛時共有185路。明代廢除路一級，自此以後，路不再為行政區劃名稱。
府。最初是國家收藏財產和文書的地方，唐代始為地方行政區名。當時為了提高京師和陪都的地位，改其所在地為府。唐以後逐漸有京府和散府之分。宋全盛時期有4京府，30普通府；京府屬於第一級行政區劃，由中央直轄；普通府則為第二級行政區劃，其地位高於州，屬於路。
元代設有33個府，為第三級行政區劃，地位高的直接隸屬於省，一般隸屬於路。明代釐定地方行政區劃，把府定為僅次於布政司的第二級行政區劃，每府管轄數州或數縣，全盛時期共有140府；清代大體與明代相同，全盛時期有188府，其京府為順天府和奉天府。
州。早在黃帝時期便已創建，起初是指擇水邊高低居住而成的村落，後來擴大為國邑的名稱。禹在位時，將天下分為九州，按自然區劃實行貢賦制度。西漢武帝時期設十三部（州）是為監察區劃，仍是受到古九州制的影響。東漢時天下分為十三州，成為地方行政區劃。東漢末年，各州刺史擁兵自重，相繼成為割據一方的勢力。
魏晉南北朝時期，化大州為小州。唐玄宗開元二十一年（733），全國分置15道採訪使、觀察使常駐地方，州逐漸成為第二級行政區劃。宋代時同為第二級行政區劃，全盛時有254州。元代州為第三級行政區劃，全盛時有359州。明代時的州制稍不同與元代，直統於布政司的州為第二級行政區劃，地位相當於府而略低；隸屬於府的州為第三級行政區劃，地位相當於縣略高於縣。清代與明制大體相同。
郡。秦統一全國，郡作為地方第一級行政區。自東漢至南北朝，郡為第二級行政區。隋唐曾經一度改州為郡，作為第一級行政區，唐中葉以後，州和郡都成為了第二級行政區。元代以後，地方行政區不設郡，但郡通常作為府的別稱。明代以後不設郡。
縣。自秦以後一直作為基本行政區存在。縣的大小根據治理人口的多少、賦稅的多寡、地區的險要程度來區分，有一定的等差，如唐代的縣有京、赤、畿、望、緊、上、中、下八等；清代有繁、疲、衝、要四等。