海因裡希·繆勒1900年4月28日出生於慕尼黑的一個貧窮的天主教家庭。在經過一些初等教育後他接受了為期三年的戰鬥機駕駛員培訓。在他17歲生日的那天他提出了參軍的申請，或許是因為先前受過的培訓，繆勒很順利的成了一名戰鬥機駕駛員。
由於在戰爭中的優異表現他獲得了二級鐵十字和一級鐵十字勳章。這裡需要說明的是繆勒是在東線參加戰鬥的，或許他曾經被擊落過？而後成了蘇聯的間諜？以上只是推測而已。1919年德國戰敗後，繆勒也隨之離開了軍隊。1929年繆勒參加了在慕尼黑警察部隊，很快就成為了一名熟練的反共產主義者。因為這使他名聲大噪，引起了納粹黨衛隊全國領袖海因裡希·希姆萊和黨衛隊保安處處長萊因哈德·海德裡希的注意。1933年希特勒當上總理，希姆萊和海德裡希為了鞏固德國區域性警察單位而創造全國性德國秘密警察(Gestapo) 。
1934 年4月繆勒以一名警官的身份加入了黨衛隊並被授予黨衛隊二級突擊大隊長軍銜。1934年6月4日，繆勒晉升為黨衛隊一級突擊大隊長，而此時他所擔任的職務是德國秘密警察二處處長，該處的主要職責就是收集使用各種方法危害國家的人的詳細資料。1937年1月30日繆勒晉升為黨衛隊旗隊長，就在該年的6月，他還兼任了德國秘密警察交通警察分處處長。謬勒以其出色的工作能力很快的獲得了更多重要的領導職位。1938年繆勒參加了一次重要的歷史事件——水晶之夜（德語：Reichskristallnacht或翻譯成碎玻璃之夜，是指1938年11月9日至10日凌晨，納粹黨員與黨衛隊襲擊德國全境的猶太人的事件。這被認為是對猶太人有組織的屠殺的開始。
巧合的是，11月9日也是51年後柏林圍牆倒塌的日子。 許多猶太商店的窗戶在當晚被打破，破碎的玻璃在月光的照射下有如水晶般的發光，這就是該事件名稱的由來。這次攻擊看起來像是民間自發的，不過事實上卻是由德國政府策劃。在這場事件中，有約1574間猶太教堂（大約是全德國所有的猶太教堂）、超過7000間猶太商店、29間百貨公司等遭到縱火或損毀。）繆勒還參與組織格萊維茨電臺事件（1939年8月31日晚，一支德國黨衛軍身穿波蘭軍裝的冒充波軍，襲擊了德國邊境的格萊維茨電臺，在廣播裡用波蘭語辱罵德國。次日，希特勒以此事件悍然入侵波蘭，第二次世界大戰爆發）。1939年9月27日，希特勒籤署政令，成立帝國保安總局(RSHA),正式將黨衛隊保安處和帝國安全警察合併，繆勒擔任中央保安局(RSHA)四處處長。1941年11月29日，繆勒被授予黨衛隊旅隊長兼警察少將軍銜。
關於繆勒，瓦爾特·施倫堡在他的回憶錄《舒倫堡回憶錄——納粹德國的諜報工作》中寫道： 有一天，我奉命向第二處處長繆勒報告工作。他是秘密政治警察和黨衛隊的高級人員，而且是蓋世太保的負責人。他的個性嚴厲而乾脆，身材矮小而體形寬闊，有一個像農夫一樣的方頭和一個突出的前額。他的嘴唇狹長而緊閉，在那不斷跳動的眼帘下面，隱藏著一對棕色而目光銳利的眼睛。他的手掌既寬大而又肥厚，手指扁方，活像一個火柴盒子。這個曾經在慕尼黑以秘密偵探「科班」起家的人，主宰了我一生事業的發展。雖然他已從最低的職位，變成最高級的領導幹部，但是他從來沒有忘記他的出身。有一次，他帶著粗笨的巴伐利亞土音對我說道：「應該把所有的知識份子關到一個礦裡，然後炸掉它。」事實上，想要和他做任何方式的談話，差不多是不可能的；整個的談話，都被他那冷靜而扼要的發問所佔有。
當你回答他的時候，又多半不能獲得他的信任。雖然如此，在第一次的談話中，他那洪亮的巴伐利亞話音，確實流露出一種毫不矯飾的溫切，他很想構成談話中坦白誠懇的氣氛。他用這些話結束了我們第一次的談話，他說：「海德裡希很欣賞你的報告！你到這裡來僅僅是一種例行的手續，實際上，你將派到安全局本部去工作。這個單位不隸屬於行政機構，而是屬於黨的。真遺憾……不然的話，我可能在我這一部門給你一個較好的位置」。不管他在道別時的姿態是如何的友善，但是他那眼睛和目光的流露，依然是非常嚴肅。在那個時候，我並不知道他對安全局不滿意的程度。」 最後，我終於了解到左右我事業發展的秘密。繆勒曾經說過海德裡希對我很欣賞，這位可怕的安全局局長自己就是一個看不見的神秘力量，在整個納粹的情報工作當中，他把我擺布得象棋盤上的一顆小棋子。
1939年1月24日，帝國元帥赫爾曼·戈林責成海德裡希成立「猶太人事務部」，驅逐猶太人離開德國。為表忠心的謬勒當上了「猶太人事務部」主任並且狂熱的投入到了驅逐猶太人的工作中，他還保證每天至少有70個猶太家庭離開德國。截止到1939年末，共有78000名德國和奧地利猶太人和38000名捷克猶太人不得不離開了德國。 作為一名蓋世太保領袖，繆勒親眼目睹了希特勒的殘酷的殺害猶太人。帝國保安總局「猶太人事務部」主任—臭名遠揚的阿道夫·艾希曼（Adolf Eichmann），是繆勒的直接下級。一旦二次世界大戰爆發，繆勒和艾希曼計劃將歐洲的猶太人驅逐出境並將他們全部的滅絕
阿道夫·艾希曼（1906-1962）：黨衛隊一級突擊隊大隊長，帝國保安總局「猶太人事務部」主任。大屠殺的主要組織者。戰後逃亡南美，1960年被以色列情報機構摩薩德擒獲，並帶回以色列受審。1962年被判處死刑，1944 年3月，繆勒籤署了「子彈命令」（"Bullet Order" ），批准射殺戰爭的逃犯，並且他還下令對1944 年7月計劃謀殺希特勒的官員施以酷刑。1944年10月，由於繆勒在反對720暗殺行動中的出色表現他被授予了佩劍騎士戰功十字勳章
繆勒還掌管著安全防衛和反間諜組織。他在1942 年至1945 年成功建成了向蘇聯情報機關提供假情報的欺騙網絡。位於柏林和其它幾個西歐國家的首都的這個欺騙網絡成功的向莫斯科提供了很多的政治和軍事假情報。繆勒的下屬俘虜了一些間諜並設法「教化」他們。戰爭中蓋世太保的行動對蘇聯情報機關構成了很大的威脅。
戰爭的最後一年，繆勒看起來依然堅信納粹政權能取得最後的勝利。他告訴他最信任的一個反情報官員納粹德國政府將在1944年12月發動阿登戰役（可以從美國電影坦克大決戰中得知）來收復巴黎。據傳聞這個時候的繆勒用他的雙重間諜身份加倍努力地在蘇聯和盟軍之間製造矛盾和分歧。
並不是所有的人都相信繆勒是忠於納粹政府的，有謠言聲稱他是蘇聯派來潛伏在德國情報機關中的間諜。繆勒的強硬的對手—帝國中央保安局六處處長(該處負責國外軍事情報工作)瓦爾特·施倫堡（Walter Schellenberg）就是這些推測的根源。1945 年施倫堡被美國戰略情報機構（Office of Strategic Services，簡稱OSS）審問的時候，他聲稱繆勒通過無線電和蘇聯的情報機關取得聯繫。施倫堡在1952年出版的回憶錄中寫道：1942年他在蓋世太保中安插的親信在一次行動中繳獲了幾部蘇聯情報員使用的發報機，然而發報機卻未能如數交給反間局——繆勒扣留了兩臺。
當他到秘密警察局責問時，繆勒卻說他將用兩臺發報機想莫斯科發送假情報。1944年底，瓦爾特·施倫堡得到了確切情報，敵人的偵察員在行動，反間局監聽處截獲了一個無線電信號，信號是發往東部方向的，接收地址是波蘭的格旦斯克（Gdansk，歷史上叫但澤Danzig），信號源是蓋世太保通信處的郊外大樓。瓦爾特·施倫堡帶部下到這棟大樓，結果發生激烈槍戰，未能進入。而密碼也無法破譯，他們僅知道，蘇軍情報局下「紅色樂隊」領導利奧波德?特列佩爾曾使用過類似密碼（密碼除非被破譯，否則是不能說類似的，這是施倫堡在說謊？還是他是負責反間諜事務的，查不出而推卸責任？）。
施倫堡戰後的回憶錄還逐字逐句的記錄了從1943年開始史達林通過繆勒傳達給第三帝國的領袖希特勒的規勸。但是與繆勒很親近的蓋世太保卻認為這些謠言沒有理由並且不符合邏輯。繆勒的直接上級恩斯特·卡爾登布隆納（Ernst Kaltenbrunner , 1903-1946帝國中央保安局局長）在盟軍的審問中堅持認為繆勒與蘇聯沒有任何的聯繫。繆勒的下級海因茲·潘衛慈（Heinz Pannwitz，紅色小樂隊反抗組織之領導人）在1959年被中央情報局的審問時說：繆勒叛變是極其荒謬的。