亞當斯召回麥克亨利，假意與他討論國防部的一些事情。就在麥克亨利要離開的時候，亞當斯突然對紐約市選舉結果表示憤慨，指責麥克亨利密謀反對他。儘管毫無證據，亞當斯卻指責漢密爾頓故意讓聯邦黨人在紐約州議員選舉中失利。目瞪口呆的麥克亨利說：「我從未聽說過漢密爾頓將軍做過這些事情，我相信這不是事實。」對此，亞當斯回答說：「先生，我知道真相，我希望你想一下，然後去告訴漢密爾頓。」
接著，亞當斯毫無顧忌地大放厥詞：漢密爾頓是個陰謀家，是全世界最大的陰謀家。他是一個沒有任何道德原則的人，一個無賴，並且跟加勒廷一樣都是外國人。傑斐遜先生和他相比更像個男人，也比較明智。我相信如果擔任總統的話，傑斐遜先生會做得更加得體。我知道這一點，我寧願在他的手下當副總統，甚至一個常駐海牙的公使，也不願讓漢密爾頓之流就任總統……你就是漢密爾頓派來的走狗。他控制華盛頓，如果有可能，還將繼續控制下去。華盛頓硬塞給我3個圖謀控制我的部長，但我不會乖乖就範。他繼續喋喋不休。論及漢密爾頓去年秋天在特倫頓市的現身，他責怪麥克亨利沒有事先提醒自己。他指責麥克亨利對國防部管理不善，對外交事務一竅不通。
最後他說：「先生，您不能再繼續擔任這個職務了。」[49]麥克亨利如木雕泥塑一般，與其說是因為被突然解職，還不如說是因為亞當斯那些「無禮的，甚至是侮辱性的言語」。他告訴他的外甥，總統「說話的態度像是在勸對方相信自己是個精神病人」。[50]麥克亨利剛剛在即將成為政府駐地的華盛頓特區購買了豪宅，離職對他而言代價高昂。儘管如此，他還是在第二天就遞交了辭呈。亞當斯後來對「傷害了麥克亨利的感情」表達了歉意，但是漢密爾頓知道麥克亨利不是唯一一個領教過總統發火的人。他寫道：「大部分部長和國會兩院的一些傑出議員都曾遭受過總統呵斥和羞辱」。
在隨後的數年時間裡，麥克亨利一直未能忘記他的傷痛。後來，在看到亞當斯為他自己的那一屆政府辯護時，他跟皮克林說，「他仍然自詡是這個時代最偉大的人，依我看，亞當斯會帶著他的虛榮、愚蠢以及那些我們看到卻不為公眾所知的缺點踏進墳墓」。在驅逐麥克亨利後五天，亞當斯寫信給蒂莫西·皮克林，試圖讓國務卿主動提出辭呈。沒想到，這位昔日的大陸軍軍官，哈佛畢業的高才生性格非常固執，不聽從任何擺布，即便對漢密爾頓也是如此。漢密爾頓承認他的「性格有點偏激和固執」。他一直堅定地支持《外僑法和鎮壓叛亂法》，並強烈反對派代表前往巴黎議和。阿比蓋爾·亞當斯把皮克林描述為一個「脾氣不好報復心極強的人」；亞當斯則認為他心懷鬼胎，冷酷無情，「臉上總是戴著一副面具，有時是絲質的，有時是鐵打的，有時是銅製的」。
亞當斯認為，皮克林一直是漢密爾頓在其內閣中的主要心腹，是一個極其可惡的傢伙。作為一個廢奴主義者，皮克林崇拜漢密爾頓，甚至想為他寫一本授權傳記。亞當斯指出：「皮克林先生將會是一個很好的海關稅收員，但他還不具備擔任國務卿的資格。他把漢密爾頓視為偶像，無法不偏不倚地判斷美國總統的意見和感受。」[55]當皮克林得知亞當斯的這番評論時，他決定不讓亞當斯如願以償，因而拒絕主動辭職。亞當斯開除了他，並振振有詞地說，這是「我一生中最無私、最慎重、最高尚的舉動」。與亞當斯近距離接觸三年之後，從皮克林口中流傳出諸多關於總統辱罵漢密爾頓的故事。「有一次，當有人向亞當斯（總統恨他）提到漢密爾頓上校的名字時，亞當斯說：『從他參軍的那一刻起，我就記得了這個年輕的渾蛋。'」
亞當斯向皮克林抱怨說，之所以同意漢密爾頓擔任監察長，因為參議院把「漢密爾頓塞到了我喉嚨中」。[58]皮克林則認為，是亞當斯害怕漢密爾頓，是因為對手比他聰明能幹。他說，亞當斯對漢密爾頓的憎恨已經到達了內心最深處，因此就連提一下漢密爾頓的名字「似乎都足以掀起隱藏在內心的怨恨。關於漢密爾頓好色的傳言，也許正是出自亞當斯之口」。[59]亞當斯接連罷免了兩位漢密爾頓的親信，令共和黨人欣喜若狂，卻讓聯邦黨人摸不著頭腦。作為當事人之一的皮克林認為，亞當斯愚蠢地先後驅逐兩位要員，是因為他和共和黨對手達成某種協議。
「如果他與法國議和，並把我和麥克亨利革職，他們就支持他連任總統。」[60]聯邦黨的一些媒體附和這種觀點。特倫頓市的《聯邦黨人》（The Federalist）寫道，亞當斯這樣做是因為與「傑斐遜先生達成了政治協議，是一項最神秘、最重要的協議」。罷免內閣要員的風波還沒有平息，亞當斯又將新軍遣散，這種行為暴露出他對漢密爾頓的報復心理和其心胸的狹隘。漢密爾頓說：「這個人比我以前想像得還要瘋狂，我不得不說一些類似他瘋了之類惡毒的話」。
除了感覺自尊心受傷以及壯志難酬，漢密爾頓還認為亞當斯在玩弄權謀。他更欣賞一個誠實的對手，而非虛偽的盟友。漢密爾頓告訴西奧多·塞奇威克，「我將不再對亞當斯負責，即使這種情況的結果是傑斐遜當選。如果我們必須對政府的首腦心懷敵意的話，就讓他是一個我們能夠反對且我們不對其負責的人吧」。[63]漢密爾頓天生不會妥協。如果有必要，他甚至準備毀掉聯邦黨而讓傑斐遜成為總統，也不願意與約翰·亞當斯和平共處。