魯道夫伊凡諾維奇阿貝爾1902年出生於列寧格朝，年輕時曾是蘇聯紅軍中的一名無線電技術工程師。他生性聰穎，機智過人，富有事業進取心，而且具有語言方面的天賦。20歲的阿貝爾講得一口流利的英語和德語，他說德語時完全跟一個德國人沒有什麼區別。因此，阿貝爾很快被蘇聯情報機關看中，並於1927年5月被招募為情報人員，從事對外諜報工作。
第二次世界大戰爆發後，阿貝爾奉命執行第一步潛伏計劃。他化名約翰利貝爾，以一名孤身德國人的身份遷居蘇聯立陶宛共和圖首都裡加，並加入了德國少數民族俱樂部。這個俱樂部是一個與蓋世太保有聯繫的秘密組織，目的是建立第五縱隊，阿貝爾經常在這裡發表一些親納粹的「愛國言論」,因而引起了納粹分子的注意。不久，阿貝爾隨同在裡加的大批德國人離開蘇聯遷往德國。他被編入駐波蘭的納粹佔領軍，分配在德軍最高統帥部軍事諜報局的一個部門裡開車。
德國入侵蘇聯後，阿貝爾所在部隊開赴東線與蘇軍作戰。在一次戰鬥中，他立功負傷，得到了納粹第一枚勳章，並取得了諜報局的初步信任。很快，他成了一名情報軍官，加入了納粹黨。此後，阿貝爾逐步建立起自己的諜報網，還吸引了一名有反納粹思想的黨衛軍保安局軍官。這個諜報組織不斷進行秘密活動，開展卓有成效的情報工作，而且進一步向第三帝國的核心情報機構滲透。
機會終於來了。1943年秋天，希姆萊的親信、德國國家保安總局第六處(國外政治情報處)處長瓦爾特·舒倫堡將軍向軍事諜報局要一名助手。條件必須是「純阿利安人，無任何親人，受過良好教育，精通外語，而且具有間諜才能的納粹黨員」。阿貝爾完全符合這些嚴格條件，他被推薦給了舒倫堡，並經受了種種生與死的考驗，得了希姆萊和舒倫堡的特殊信任，被授予黨衛軍旗隊長銜(相當於德國陸軍上校)。一份份情報通過阿貝爾諜報組送回了莫斯科。
1944年夏末，阿貝爾向蘇聯情報部門透露了德國人秘密派造特務小組深入蘇聯後方進行暗系和破壞活動的「旋風計劃，並以假亂真派手下一名特工冒名頂替這個小組的負責人，配合蘇軍消滅了納粹這支特種小隊。1945年春天，他設法弄清了希姆萊的代表沃爾夫將軍在瑞士伯爾尼同美國戰略情報局的杜勒斯進行秘密談判的事實真相。還得知德國空軍首腦戈林、外交部長裡賓特洛甫、黨務部長鮑曼以及蓋世太保頭目繆勒都各自企圖與西方盟國搭上關係。阿貝爾將這一重要情況密報了莫斯科，同時在納粹各派系勢力之間製造矛盾，再加上蘇聯向盟國施加了政洽和外交壓力，因而使希姆萊等納粹頭目與西方單獨溝通和陰謀破了產。
不久，他又千方百計搞到了蓋世太保一批潛伏特務的名單和照片，用微型膠捲拍攝下來然後把原件交給了舒倫堡，進一步得到了他的器重。在此期間，阿貝爾同時獲得了兩枚高級勳章一一納粹鐵十字勳章和蘇聯英雄勳章，並晉升為紅軍上校。蘇軍攻入柏林前夕，他秘密返回了蘇聯。
此時的阿貝爾已精通英、法、德、意等數國語言。1947,他受莫斯科情報總部的派遣持美國公民安德烈·卡約蒂斯的護照由加拿大潛入美國，擔任了蘇聯駐美國情報站站長。控制著美國各種以及美洲的好幾個諜報網。以後的十年間，他換了許多名字，以不同的身份從事間諜活動，竊取了美國大量的機密情報，尤其是軍事情報。然而，一次小小的疏忽卻使蘇聯的諜報組織露出了破綻。
阿貝爾諜報網的一名成員無意中將一枚裝有微型膠捲的5美分硬幣花掉了。這枚硬幣從一位報童手中不慎掉在地上裂成兩半，他發現了裡面的微型膠捲，把它交給了警察，因此引起了美國聯邦調查局的重視。
1957年5月，阿貝爾手下一名間諜叛逃，向美國警方供出了他。聯邦調查局的反間諜人員根據線索，尋蹤而至，在一家小旅店逮捕了化名為馬丁·柯林斯的阿貝爾。當時，他非常鎮靜，只說了一句：「是的，我是蘇聯上校魯道夫伊凡諾維奇阿貝爾。我為自己的國家從事情報活動這是我能告訴你們的全部情況。」在審訊期間，阿貝爾拒絕同聯邦調查局合作。四個月後，他被判處三十年監禁。
阿貝爾身陷囹圄,使蘇聯國家安全委員會大為震驚。1960年5月,美國U-2高空偵察機在蘇聯上空進行間諜活動時被擊落。美方急於弄清飛機被擊落的真相,要求用阿貝爾換回活著的飛行員鮑爾斯,蘇方立即應允。1962年春,在東西柏林間一個交界處,雙方交換了各自的情報人員。阿貝爾在度過了五年鐵窗生活中,回到蘇聯被授予最高榮譽獎列寧勳章,並晉升為將軍。