2002年剛滿40歲的霍利菲爾德仍然不服老，雖然他在上一場比賽中戰平了老對手魯伊茲，他依然認為自己仍是重量級的頂級拳手，6月，他與前世界重量級拳王拉曼展開了對決，當時媒體分析這場比賽的勝者極有可能再次挑戰劉易斯。
這場重量級焦點之戰，最終以拉曼受傷而提前結束，比賽中霍利菲爾德連打帶撞，將拉曼左眼上方的前額撞出了一個看起來非常恐怖的血腫，霍利菲爾德在三個計分卡中處於領先，所以成為了最後的勝者。
當年，劉易斯已經奠定了自己在重量級的地位，他對這兩位老對手都不感興趣，反而一直追求和泰森的二番戰，當時泰森以先打一場過渡戰為由拒絕了劉易斯，這時IBF要求劉易斯下一戰必須面對該組織一號挑戰者克裡斯·伯德，然而劉易斯寧願被剝奪金腰帶也不接受伯德的挑戰。
因此，霍利菲爾德被安排和伯德爭奪空缺的IBF重量級拳王頭銜，和霍利菲爾德一樣，伯德也是一位經驗老道的技術型拳手，對於老霍一些邊緣技術他早已有了應對的辦法，結果和賽前眾多媒體所預測的一樣，伯德12回合點數擊敗霍利菲爾德成為了新拳王。
2003年和2004年，霍利菲爾德分別輸給了「熄燈號」詹姆斯·託尼和拉裡·唐納德，尤其是和託尼的比賽，於第九回合慘遭KO，比賽中霍利菲爾德反應非常遲鈍，在第五回合後他看起來有些體力不支，賽後很多人都建議他應該封拳退役。
然後霍利菲爾德並沒有退役的打算，而是選擇繼續徵戰，但紐約州體委已經禁止霍利菲爾德在紐約參加拳擊比賽，想要繼續參加比賽必須通過了一系列的醫學測試，最初，很多人對於他的復出給予了批評，但他堅持認為，他輸給託尼和唐納德是因為肩膀受傷，而不是年老。
2006年重新獲得拳擊執照的霍利菲爾德首戰旗開得勝，兩回合KO了四線拳手貝特斯，之後他取得了四連勝，在這四場比賽中他看起來的確好多了，似乎已經回答了批評者們的問題。
正是因為這四場勝利使他再一次獲得了挑戰拳王的機會，2007年10月13日，已經45歲的霍利菲爾德與俄羅斯名將伊布拉吉莫夫爭奪WBO重量級冠軍頭銜，在賽前霍利菲爾德揚言要成為重量級史上首位五次登頂的人，要大爆冷門，然而，這場比賽沒有發生什麼意外，伊布拉吉莫夫控制了整場比賽，最終以118–110和兩個117–111的比分勝出。
霍利菲爾德並沒有因為這次失敗而放棄再次成為冠軍的念頭，他對媒體說：「我要戰鬥，再次成為世界重量級冠軍。然後我會寫一本書告訴大家我是怎麼做到的。"2008年12月20日，他在瑞士的哈倫頓球場，以60萬美元的出場費迎戰WBA重量級冠軍「俄羅斯巨獸」，這場比賽也是霍利菲爾德職業生涯最後一場世界頭銜戰。
霍利菲爾德也清楚這是他最後的機會，如果贏得勝利他不但能成為首位五次登頂者，還能超越福爾曼此前所保持的最年長的冠軍紀錄，雖然賽前霍利菲爾德被嚴重的不看好，但他在比賽中的表現出乎所有人的預料。
比賽中霍利菲爾德打得非常巧，控制了大部分回合，然而最終的比分卻是二比一瓦魯耶夫勝出，其中一位裁判以114–114的比分給出平局，而其他兩位給出116–112和115–114的比分。許多業內人士對這個決定感到憤怒，認為霍利菲爾德才是勝利者，並且優勢很明顯。
由於這場比賽爭議巨大，WBA對也進行了調查並成立了一個評委小組審查比賽錄像，該組織還表示，他們"將在今後幾周內作出相應的決定"。許多人猜測，最有可能的情況是立即重新比賽，但遺憾的是未能實現。
此後霍利菲爾德還曾叫板了小克裡琴科，對此小克回應：您是我非常尊重的前輩，我不想傷害你，在2011年10回合KO尼爾森後，霍利菲爾德正式宣布退役，結束了自己27年的職業生涯。