中國古代行政區劃界的原則是山川形便，意思是依託大山大川的天然地形劃分界限，直到現在山西、陝西以黃河為界，河北、山西以太行山為界，都是山川形便的典型。這樣做的問題在於，依託山川地理環境，行政區很可能會形成一個相對獨立、封閉的王國，這就為地方割據埋下了隱患。所以，從北宋開始，中國在行政區劃界上，又添加了一個新的原則：犬牙交錯。就這樣，山川形便、犬牙交錯，一直到今天都是省與省之間劃界的原則。
具體到山東省來說，根據上述兩個原則，各朝各代的劃界均有出入。1949年建國後，山東省界也是不斷在調整，也基本上是根據山川形便、犬牙交錯的原則，一些地區劃入山東，另一些地區又劃出山東，今天就把相關情況總結如下：
1952年，是省界調整最頻繁的一年，這一年的大事是撤銷平原省。1949年8月，為治理黃河，從山東、河南、河北各劃出一部分地區，組成平原省，省會新鄉市（今河南地級市）。山東被劃給平原省的分別是菏澤專區（轄菏澤、定陶、曹縣、東明、鄄城、鄆城、梁山、汶上八縣），湖西專區（轄金鄉、單縣、魚臺、巨野、城武、嘉樣、復程（1956年撤銷）七縣），聊城專區（轄聊城、堂邑、博平、清平、高唐、茌平、東阿、壽張（1964年撤銷）、陽穀、莘縣、冠縣等十一縣。
1952年，平原省撤銷，原來屬於山東地區的菏澤、湖西、聊城三個專區又重新回歸山東（東明縣1963年才劃回山東）。另外濮陽專區的濮縣（1956年併入範縣）、範縣（1964年重新劃歸河南）、朝城（今莘縣朝城鎮）、觀城（今莘縣觀城鎮）四縣也一同劃歸了山東。
1952年，山東省與河北省的省界重新劃定，劃定的原則是，歸還原建制，歷史上屬於河北，現在屬於山東的縣，重新劃歸河北，這樣山東的東光、吳橋、寧津（1965年重新劃回山東）、慶雲（1965年重新劃回山東）、鹽山、南皮劃歸河北省。而歷史上屬於山東，現在屬於河北的縣，也重新劃歸山東，這樣河北的恩縣（現為平原縣恩城）、武城縣、夏津縣劃歸山東的德州專區，河北的臨清縣、臨清鎮、館陶鎮（1965年重新劃回河北）劃歸山東的聊城專區。邱縣雖歷史上屬於山東，因便於領導，仍屬河北。
1952年省界劃分的另一件大事就是由山東代管的徐州、新海連（連雲港）地區重新劃歸江蘇。徐州、新海連歷史上屬於江蘇，因1948年12月江蘇尚未完全解放，兩地由山東代管。到1952年，徐州市，山東滕縣專區的豐縣、沛縣、銅北、華山，山東臨沂專區的新海連、贛榆、東海、邳縣重新劃歸了江蘇省。
山東與江蘇省界調整並沒有結束，1954年江蘇贛榆縣的汾水、小張莊兩個村莊劃歸山東日照縣，山東郯城縣的黑豆澗等7個村劃歸江蘇東海縣，山東單縣的胡楊莊、董臺子村劃歸江蘇碭山縣。1955年，碭山縣又重新劃歸安徽省，山東從此與安徽有了交界。
微山湖位於山東、江蘇交界之處，1956年，對微山湖周邊地區進行了調整：山東嶧縣（今棗莊）徒溝鄉的十個村莊以及山東微山縣馬山鄉、厲灣鄉、黃山島、套裡島下屬的共計35個村莊劃歸江蘇徐州市，微山湖面則由微山縣統一管理。
1964年，再次對山東、河南省界進行調整，山東聊城專區的範縣劃歸河南省，撤銷山東省壽張縣，原壽張縣轄地分屬山東陽穀縣和河南範縣；山東莘縣的前任屯、後任屯兩寸劃歸河南南樂縣，河南南樂縣的楊寨村、東節村、寨節村劃歸山東莘縣。
1965年，山東、河北重新劃定省界，原則上，以衛運河、四女寺減河（今漳衛新河）為界，這樣河北省的寧津縣、慶雲縣劃歸山東，河北吳橋縣四女寺減河右岸的75個村莊劃歸山東寧津縣，吳橋縣另有75個村莊劃歸山東陵縣。河北東光縣大張莊公社劃歸山東寧津，河北鹽山崔家口公社劃歸山東慶雲，河北故城縣甘泉村劃歸山東武城縣。
山東館陶縣劃歸河北邯鄲專區，山東臨清縣衛運河左岸299個村莊劃歸河北省，設立河北省臨西縣。山東無棣縣四女寺減河左岸51個村莊劃歸河北省，山東武城縣衛運河左岸244個村莊劃歸河北省故城縣。
1971年，山東、江蘇省界又進行了小範圍調整，山東臨沭縣東朱範、西朱範等20個村劃歸江蘇省。此後，除了個別村莊調整外，山東省省界大體上穩定了，再無大的變化。