法國大思想家伏爾泰曾經評價「神聖羅馬帝國」是「既不神聖，也無羅馬，更非帝國」。客觀地講，伏爾泰的評價確實過激，最多只能表現神聖羅馬帝國末年的狀態，而不能用來形容整個神聖羅馬帝國的歷史。
不過伏爾泰對神聖羅馬帝國「無羅馬」的評價還是比較準確的，因為神聖羅馬帝國本質上就是個德意志封建領主聯合體。在民族構成、語言文化、政治體制等諸多方面，神聖羅馬帝國與羅馬帝國都沒有關係。
正因如此，學界基本不將神聖羅馬帝國視為羅馬帝國的延續，而是將之作為中世紀領主或者日耳曼歷史的組成部分。既然與羅馬帝國沒有關係，這個德意志封建領主聯合體為什麼起名為「神聖羅馬帝國」呢？
由於翻譯問題和文明差異，大部分國人並不了中華文明的皇帝與西方文明的「皇帝」之間的差異。在西方中世紀的文明觀念中，「皇帝」專指羅馬帝國的皇帝，其他的君主無論實力有多強也不能被稱為「皇帝」。
羅馬帝國晚期一分為二，羅馬皇帝也就分為兩個：一個系統是君士坦丁堡的東羅馬皇帝，一個是羅馬城的西羅馬皇帝。羅馬帝國滅亡後，東西兩個羅馬皇帝在很長時間裡是互不承認，分別發展成兩種文明。
476年，西羅馬帝國在文明意義上被日耳曼民族滅亡，但羅馬皇帝的名號被天主教會保留下來，這也是日後西歐皇帝都由教會加冕的原因。而在西羅馬帝國的廢墟舊地上，日耳曼人建立的法蘭克王國崛起。
經過幾百年前的發展，法蘭克王國在八世紀中葉進入鼎盛的加洛林王朝，而法蘭克王國加洛林王朝最傑出的君主就是著名的查理曼。法蘭克王國在查理曼在位期間徵服四方，基本控制了西羅馬帝國的舊地。
查理曼對後世影響最大的一個決策就是給予天主教會巨大利益，使其成為歐洲封建主的「共主」。作為利益交換，天主教會在明知查理曼與羅馬帝國沒有任何實際聯繫，卻依然決定授予其「羅馬皇帝」的名號。
800年（貞元十六年），查理曼由教皇利奧三世加冕為「羅馬皇帝」，是為「查理大帝」。法蘭克王國此後則被稱為「查理曼帝國」。但除了名號之外，查理曼帝國與羅馬帝國沒有任何關係，查理曼自己也很清楚。
814年（元和九年），查理曼因病去世。查理曼帝國在皇帝死後立刻陷入分裂的危機中，繼位的路易一世拼命卻也沒能阻止。路易一世死後三年，查理曼的三個孫子達成《凡爾登條約》，將帝國一分為三。
於是查理曼帝國分裂為東法蘭克、中法蘭克、西法蘭克三個王國，也就是如今德國、義大利、法國的雛形。因為三個法蘭克國王的地位是平等的，所以誰都不敢真當皇帝，「羅馬皇帝」就被空置在教會那裡。
到了十世紀期間，東法蘭克王國逐漸發展強大起來。911年（開平五年），東法蘭克國王「孩童路易」病死，加洛林王朝絕後。東法蘭克德意志地區的康拉德一世被推舉為國王，東法蘭克國王開始德意志化。
不過康拉德一世是能力很差的國王，在位期間基本被下屬的強力領主壓制。不過康拉德一世很有自知之明，在臨終前將王位傳給了薩克森公爵亨利一世。亨利一世是有能力的國王，東法蘭克王國逐漸強大。
936年（後晉天福元年），亨利一世之子奧託一世被推舉為東法蘭克國王。奧託一世對內集權，對外徵討，東法蘭克王國更為強大，基本奠定了如今德意志的文明範圍，因此奧託一世被稱為「德意志之父」。
961年（建隆二年），奧託一世應教皇請求出兵亞平寧半島，東法蘭克王國此時的勢力範圍涵蓋了中法蘭克大部和西法蘭克部分領土，連西法蘭克加洛林王朝的國王、查理曼子孫路易四世都奉承奧託一世。
為了討好強悍的奧託一世，教皇約翰十二世正式為奧託一世加冕「羅馬皇帝」，是為奧託大帝。此後東法蘭克王國便自稱為「羅馬帝國」，史學界則將奧託一世加冕當做東法蘭克王國轉變為德意志王國的標誌。
正因如此，奧託一世被視為德意志初代君主，他的「羅馬帝國」就被稱為「德意志第一帝國」或者「古德意志帝國」。不過「神聖羅馬帝國」這個名字在奧託一世時期還沒正式出現，只是頂著「羅馬皇帝」的名號而已。
「古德意志帝國」在奧託一世後經歷數次王朝更迭，「羅馬皇帝」名號的傳承也是糊塗帳。1155年（紹興二十五年），人稱「巴巴羅薩」的德意志霍亨斯道芬王朝國王腓特烈一世打進義大利，迫使教皇再次加冕。
與奧託一世不同，腓特烈一世已經不滿足於簡單的「羅馬皇帝」頭銜了，而是要以教皇的權威正式確定自己的帝國是「神聖不可侵犯」的。於是腓特烈一世將帝國命名為「神聖羅馬帝國」並迫使教皇要給予承認。
據說為了逼迫教皇同意，腓特烈一世甚至在羅馬城殺了近千名教士，而「神聖羅馬帝國」這個名字在腓特烈一世加冕後正式出現。不過主流史學界一般將「神聖羅馬帝國」的建立時間追溯到奧託一世加冕稱帝。
為了宣揚自己的正統性，「神聖羅馬帝國」的歷代皇帝都宣稱帝國的法統繼承自查理曼大帝並認為只有東法蘭克王國（德意志）維持了查理曼的「羅馬皇帝」正統，另外兩個法蘭克王國的後繼者應該俯首稱臣。
受這種宣稱的影響，現在還有學者將查理曼大帝視為「神聖羅馬帝國」的第一代皇帝。而「神聖羅馬帝國」的成立標誌著「羅馬皇帝」的名號被德意志（東法蘭克）壟斷，西法蘭克（法蘭西）對此則是耿耿於懷。
正因如此，法蘭西人時不時就要質疑「神聖羅馬帝國」所謂的正統性，伏爾泰的那番評價就是代表。1806年，法蘭西皇帝拿破崙迫使「神聖羅馬帝國」的末代皇帝弗朗茨二世解散帝國，「神聖羅馬帝國」滅亡。