眾所周知，以太行山為界限，將山西與山東兩個省分隔開來，如今的山東省作為獨立的行政區劃，始於南宋，正式形成於金。金在佔領北方之後，便把原宋朝的京東西東路，改為了山東東路和山東西路，而這裡的山正太行山。
所以說一直延伸到現在，就有了太行山分隔開了山東和山西兩大省份，但是想必大部分人還不知道，在再早的時期，也就是春秋戰國時期，那個時候同樣出現了山東的說法，但是那個時候的山東與如今卻不太一樣。
作為地理區域的名稱，「山東」這個說法最早還是起源於戰國時期，而且還是來自於秦國人，那時秦人稱崤山、函谷關以東的地區為「山東」，同樣也是一個地域性的詞彙，在相關史籍如《商君書》、《韓非子》、《漢書》中，提到的「山東」，指的就是崤山以東。
而崤山如今在河南省西部，也是秦嶺東段支脈拔大多在1500米以上，山勢自西南向東北逐漸低緩。
那個時候秦國人將以崤山為界限，東方的所有區域都稱作為「山東」，包括當時的另外6國，這也就有了「山東六國」的說法，與秦國合稱為戰國七雄。
而且在春秋戰國時期，崤山也是有著極高的戰略地位，處於兩大豪強晉國與秦國之間，除此之外，往東又是東周王室所在地，而這裡也發生過數次大小規模的戰役，著名的崤山之戰曾經讓秦國遭到前所未有的失敗，從此秦國東進中原之路被晉國扼制，除此之外，也讓楚國成為既得利益者。
無論是出生於魏國的宰相範睢還是亞父範增介紹劉邦時，都用了山東這個說法，而這個山東都並非是如今的山東。
直到秦國統一六國後，再到東漢時期，「山東」逐漸演變成「太行山」以東。