自動處理醫療影像一直是人工智慧的重要發展方向之一，吸引了很多知名學者參與其中，並已出現了很多引人注目的成果。近期史丹福大學吳恩達等人提出的 CheXNet 便是其中之一。
研究人員在其論文中表示：新技術已經在識別胸透照片中肺炎等疾病上的準確率上超越了人類專業醫師。然而，另一群學者對目前的一些研究產生了懷疑。本文作者 Luke Oakden-Rayner 是阿德萊德大學的放射科在讀博士，曾作為第一作者於今年 5 月在 Nature 上發表文章介紹了自己利用深度學習等技術預測人類壽命的研究。
如果你關心機器學習和醫學，請閱讀這篇重要而深刻的文章。
——Gary Marcus，紐約大學教授
幾周前，我曾提到自己對於 ChestXray14 數據集有所擔心。我曾說過在自己掌握更多信息後會深入探討這個問題。在這段時間裡，我深入挖掘了數據結構與內容，並與 Summers 博士用郵件進行了交流。不幸的是，這些行動只是加劇了我對數據集的擔憂。
免責聲明：我認為本文不能反映深度學習在醫療領域應用的廣泛觀點，或是主張人類表現是無法超越的。本文的觀點基於我對近期研究發展的考量。該結果僅針對 ChestXray14 數據集，代表了我們在面對醫療數據時面臨的挑戰。這一挑戰是可以被戰勝的，在未來的文章中，我會介紹戰勝它們的方法。
讓我們先給出結論，我認為目前的 ChestXray14 數據集不適用於訓練醫用人工智慧系統進行診斷工作。為了清晰證明我的觀點，我將在本文中討論以下幾個問題：
標籤的準確度。
標籤的醫學意義。
標籤對於圖像分析的重要性。
本文的大部分篇幅都將用於介紹我的立場，但是首先我們先要談談引入這個數據集的論文《ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases》。
我必須指出，自首次發布以來，該數據集的論文和支持文檔已經更新過多次——自我開始談論此事之後至少已經更新過兩次。儘管如此，在通讀了文檔後，我仍然認為我的觀點是合適的。
在我看來，該論文需要花更多的時間解釋數據集本身。特別是在該數據集的大量使用者是計算機科學研究人員，缺乏臨床知識的情況下，這種需求就顯得尤為迫切了。然而，這篇論文主要介紹了文本挖掘和計算機視覺任務，其中有一張圖、一個圖表展示了數據集中標籤的準確性。
以下文本挖掘的性能測試結果是在論文發表於 CVPR 之後添加的：
這張列表展示了一些有意思的東西，其中展示的原始結果是在公開的 OpenI 數據集上進行測試的，其中不僅包括報告，也有人類打上的完整標籤。例如，如果一份報告說道：「有基底固結」，就會使用標籤「固結/基底」。
而列表中下面的部分是 ChestX-ray14 自己的數據，這個部分自從論文的第一個版本以來一直存在。為了製作測試集，研究人員隨機選擇了 900 份報告，並有兩位注釋者進行標註，他們共同分類了其中的 14 種疾病。這裡需要注意的是，這些注釋者並沒有直接檢視圖像。
在列表中，我們可以看到算法在幾乎所有分類中都有了很好的結果，尤其是在他們自己的數據上。這裡唯一的限制是每個類別的流行程度，很多罕見疾病的流行程度約為 1-3%。
在此我們假設在隨機選擇報告時研究人員並沒有刻意挑選樣本——這樣測試集中的很多結果都含有 10-20 個範例。這本來不是問題，但數據體量的限制會讓誤差變大。
但如果允許一些偏差值，每個標籤看起來準確度都在 85-99%，至少準確反映了報告結果。
永遠關注圖像本身
不幸的是，似乎標籤無法準確地反映病況。稍後我會介紹一些可能的原因，現在我們先來看我是如何得出該結論的。
其實我也查看了這些圖像，因為我是一名放射科醫生。在看 x 光片方面我不比別的放射科醫生好，也不比他們差，但是我應該比壓根不看這些圖像的人要好一些吧。NIH 團隊沒有表明他們看過這些圖像，他們通過測試標籤是否匹配報告文本來判斷圖像標註過程的優劣。我認為這種分離導致了我所提出的標籤質量問題。
有很多方式可以在不需要圖像的情況下構建圖像標籤。你可以依賴已經存在的標籤，如 ICD 編碼；你可以從報告或其他免費文本中提取標籤；你還可以使用增補數據。
但是你必須看這些圖像。在計算機視覺領域，這叫做「完整性檢查」，是一種簡單的軟體功能測試方式。在深度學習中，我們查看訓練曲線、檢驗梯度、嘗試在沒有正則化的情況下訓練來測試是否產生過擬合。查看這些圖像是放射學的完整性檢查——查看圖像，確保它們和期望的一樣。
它們不必要完美，如果你在整合一些可能不在圖像上的信息，那麼或許會有一些視覺上看不出來的疾病。這沒什麼問題，但是你仍然需要查看圖像。
確切地記錄如何根據圖像信息定義類別似乎很難，但是你仍然需要查看圖像。一般我們只需要每個類別留出一個小的隨機子集，且每個子集至少需要包括 100 張圖像，因此我們就可以對它們隨意地進行評估。這樣花費的時間不會太長，我通常 10 分鐘看完 200 張圖像以完成「完整性檢查」的初級階段。
第一部分：ChestXray14 數據集中的圖像標籤準確率
這部分要說該數據集中基於標籤的圖像。它們是隨機選取包含 18 張圖像的序列集，並非精挑細選。
我儘量保持謹慎，當一個案例模稜兩可的時候，我選擇標出標籤類別。在所有圖像中，紅色 = 明顯錯誤的標籤；橙色 = 懷疑態度，我沒有指出這個問題，但是不能排除這種懷疑。
肺不張
心臟擴大
纖維化
我的標籤並不完美，其他放射科醫生可能對其中的一些標籤有疑惑。但是必須明確一點，我的標籤和論文／附錄中的結果有極大的不同。
我通常喜歡硬數據，因此我盡力量化標籤準確率。事實上我發現其中的很多標籤都很難定義，因此下表中未列出。我查看了每個類別中的 130 多張圖像，根據我的視覺判斷計算原始標籤的準確率。這個數據量比較適合使用，因為 95% 的置信區間可能再擴大 5% 左右，所以我的誤差率可能達到 20% 左右。
我再次懷疑我的標籤到底對不對，尤其是和一隊胸部放射科醫生的判斷結果相比，但是如上表所示，差別也太大了。我認為上表中的數據證明這些標籤無法匹配圖像中顯示的疾病。
也有辦法解釋這種現象。比如最初幫助解釋圖像的放射科醫生具備圖像以外的信息。他們具備臨床經驗、之前的診療結果等。這些信息非常有用，尤其是在區分類似疾病的時候。
由於未獲取報告，我無法評價他們在實驗中的作用。但是從個人臨床經驗出發，我知道這些額外信息大概能提供 10% 的影響，即使它們很少能夠顯示明確的診斷結果，但它們對醫生的診斷確實有幫助。
如果人類專家無法僅從圖像中做出診斷，那麼 AI 系統很可能也無法診斷。AI 可能能夠找出一些人類忽略的細微證據，但是憑藉這些就可以產生性能上的巨大差異並不合理。總體來看，我們需要標籤和圖像包含同樣的信息。
如果 Wang et al. 的團隊聲明因為不可獲取的數據，他們的標籤比我的視覺判斷好，且差距懸殊，那麼我至少想看到論文中出現一些討論來解釋這個過程，特別是在報告沒有公布的情況下。
第二部分：這些標註在醫學上意味著什麼？
這引出了第二個問題，且我在前面部分也討論了這個問題。這些標註實際上代表什麼？它們能夠反映臨床實踐嗎？
我認為答案是否定的。
最難解析的標籤是固結/滲透/肺不張/肺炎集聚等。這裡不做詳細的討論，但並不表明它們仍然困擾著我。儘管我們花大量時間查看這些圖像，但我並不能更明確地區分這些不同的類別。
這些醫學影像還存在其它問題，與任務的臨床價值有關：
滲出
滲出表示在肺部周圍空間有積液。造成該病變的原因非常多，但主要原因分為由胸膜和肺部疾病引起的積液。
我並不清楚什麼確定或代表了顯著性肺部疾病中有積液存在。在很多情況下，甚至直觀地識別這些積液都是不可能的，只不過我們知道積液會存在，所以我們也就這樣描述它了。上圖最後三個肺部影像就是一個非常好的例子，在我看來，這些病例的主要病理還是固結。
我可以看到識別較小和分離的胸腔積液的價值。上圖中約有 6 張影像是這樣的情況，包括第一張和第三張。沒有肺部疾病來表明積液的成因，這令標籤「積液」越發突兀。
我還可以看到識別較大積液的好處，它們可能需要我們的介入進行治療，如使用器械將它們排出。第 10 張圖就正好是這樣的案例。所以其實我並不太了解標籤的含義，因為不是基於臨床實踐的指導思想並不是很有用。
氣胸
氣胸是指在肺部周圍的胸膜腔空間有氣體。這可能導致肺部癱瘓，因此它是非常嚴重的病變。但實際上，氣胸在 X 光影像上非常微小，經常會被人忽略掉。
初次看來，標籤似乎非常有效。在這 18 個樣本中，只有用橙色標出的那張影像有點問題，這也可能是因為我沒在診斷環境下查看肺部影像的原因。
但是綠框也有點問題，因為這些病人已經使用胸腔引流治療過氣胸。因此，現在有以下兩個問題：
這並不是醫學上重要的問題，我們希望避免氣胸未被診斷出的錯誤，而這些圖像標籤確實沒有犯這種錯誤。
如果很多影像都通過胸腔引流治療，AI 系統將會學習識別胸腔引流而不是氣胸。模型訓練時的大多數圖像樣本批量完全可能包含有胸腔引流的氣胸。
纖維化
我們已經看到，纖維化的標註準確率非常低。在這些影像中，紅框是不正確的標籤，橙框是我不確定的標籤。在胸腔積液和固結中可能也會出現纖維化，但這些是影像無法告訴我們的。
實際上還有多種其它非圖像臨床問題，例如：
肺炎、肺氣腫和大多數纖維化都是臨床診斷問題而不是醫療影像問題。
X 射線會漏掉多達 50% 的囊腫，因此我們可能會懷疑報告所採用的囊腫標註。
沒有人關心間斷性疝氣，所以它們只是有時候進行診斷。
實際上，每個標籤的類別都會受到不同程度的質疑，只不過我強調的是最值得質疑的部分。它們足以說明，找到那些優秀的數據集或正確的標籤以學習高效的醫療任務是十分困難的。同樣，我們還是需要專家查看這些影像來進行醫療診斷。
第三部分：這些圖像對圖像分析有什麼好處？
這是本評論最重要的部分。放射學的深度學習應用有一個大問題，如果不查看圖像，後果將非常嚴重。
如果這些標籤很不準確，並且標籤的意義也不可靠，那麼建立在這個數據集上的模型是如何能達到不錯的結果的呢？模型實際上學習的到底是什麼？
前一陣子有一篇很流行的論文
表明了深度學習無法在訓練數據中擬合隨機標籤。我不認為這個結論對研究深度學習模型的人來說是意料之外的，但很多人以此作為反對深度學習的證據。
實際上，我們在尋找可以學習正確地在測試集上輸出真實結果的模型，即使所謂的真實結果在視覺上毫無意義。
現在，一些深度學習擁護者會爭辯說，適當的標籤噪聲是可以接受的，甚至還有好處。
我基本同意 Jeremy 的觀點，雖然這依賴於任務類型和噪聲類型。隨機噪聲可以作為不錯的正則化項，甚至還可以在某些設置中提升性能。結構化噪聲不一樣，它添加了完全不同的信號，而模型將嘗試學習這些信號。這等價於訓練一個模型學習識別肺炎，但其中 10% 的肺炎標籤還包括狗的相關標籤。
在一個包含壞標籤的訓練集中，神經網絡將把這些標籤看成同等有效的肺炎樣本。如果模型學習了這些標籤，例如，「毛茸茸」是肺炎的一個信號，然後模型將應用這個信號到胸透圖中，輸出無法預測的結果。
模型將使用部分從狗類圖像中學習的特徵，並應用到胸透圖中，儘管這和問題本身無關。
如果你的目標是最大化性能，那麼結構化噪聲總會帶來負面影響。噪聲甚至不需要很明顯，而偏差標籤將降低模型的準確率。
所以從直觀來看，這些標籤會損害模型的性能。那麼為什麼在 ChestXray14 上訓練的模型有非常好的性能？難道是這些模型可以補償數據噪聲而變得魯棒性嗎？
我並不這樣認為，實際上我們需要關注更多的方面。其實在為數據集構建一組新標籤的過程中，我通過創建一個「opacity」類和一個「no finding」類來簡化涉及的任務。我用原來的標籤設置了新創建的標籤，「opacity」是肺不張、肺炎、固結和滲透標籤的組合，然後我們在上面訓練一個模型。
正如前面所說的，一個優秀的模型將完成這些探索性工作，所以我只需要採用一個在 ImageNet 預訓練的 ResNet，並在新的數據集中訓練後部分的網絡。我並沒有調整超參數，只是在一個合理的時長內訓練模型，最後模型的性能還是比較優秀的。
該模型的表現非常像 Summers 等人的研究，我的模型可以明確地從這些標籤中學到一些知識，但模型具體學到了些什麼？
以下是模型的預測以及它們與數據集中的標註所做的比較：
真正類
真負類
假正類
假負類
儘管 AUC 是 0.7，但與標籤錯誤率一致，我們的分類性能非常糟糕。該模型無法忽略錯誤的標籤，輸出合理的預測，它對標籤噪聲不具備魯棒性。最重要的是，AUC 值沒有反映診斷性能，這是一個很大的問題。
這一 AI 系統學習可靠地輸出無意義的預測。它學習圖像特徵的方式使「opacity」的案例變得幾乎沒有模糊性，而「no opacity」的案例被判斷為嚴重不正常的肺。
這就是問題，因為除非你看了圖像，不然就會以為結果很棒。每個團隊的模型性能都越來越好，AUC 分越來越高，看起來它們似乎正在「解決」一項嚴肅的醫療任務。
我認為其有多個原因；醫療圖像很大又複雜，共享很多普遍元素。但是，自動挖掘標籤的方法沒有引入不準確的隨機噪聲。文本挖掘的編程本質會導致持續、意料之外的數據依賴或分層。這讓我回想起美軍開發神經網絡用來識別二十世紀五六十年代坦克偽裝的故事。
大約半個世紀前我在洛杉磯參加一個會議，有人發表了一篇論文，展示了一個隨機網絡如何被訓練來檢測圖像中的的坦克。當時我在觀眾中，演講結束後，我站了起來並表示，很明顯帶有坦克的照片是在晴天製作的，而另一張照片是在陰天製作的。我認為「神經網絡」只是訓練自己去識別明亮圖像和暗淡圖像之間的區別。
——Edward Fredkin 與 Eliezer Yudkowsky 的通信
同樣，史丹福大學皮膚科的 Novoa 博士最近也在媒體上討論過這個問題：
當皮膚科醫生查看一種可能是腫瘤的病變時，他們會藉助一個尺子——就是你在小學時用的那種——來準確測量它的大小。皮膚科醫生這樣做是為了查看病灶。因此，在一組活檢圖像中，如果圖像中有尺子，算法更可能將其判斷為惡性腫瘤，因為尺子的存在與病症癌變的可能性相關。
不幸的是，Novoa 強調，該算法不知道為什麼這種相關性是有道理的，所以很容易誤解為一個隨機的尺子是診斷癌症的根據。
這裡的關鍵信息是深度學習非常非常強大。如果你給它輸入帶有偏見標籤的複雜圖像，它可以學習對這些類別進行分類，儘管它們毫無意義。它可以學習「pneumonia-dogs」。
這與 Zhang et al. 的論文結果不同。
他們表明，你可以完美擬合訓練集中的隨機標籤。實際上，這一結果僅僅表明深層網絡足夠強大，能夠記憶訓練數據。他們沒有展示測試數據的泛化，相反，他們展示了噪音損害的性能。我確實在 ChestXray14 數據中通過隨機標籤做了一個快速測試，發現與 Zhang et al. 的相同結果；並且該模型沒有泛化到測試集。
這裡的根本問題不同於 Rolnich et al. 和 Zhang et al.，因為結構化噪聲不僅存在於訓練數據中。整個測試數據中的標籤誤差也是一致的。這意味著如果模型學習做出不良的醫療預測，那也許它可能會獲得更佳的測試表現。
這種情況可能僅針對通過自動「數據挖掘」方法生成的標籤，但是我也發現了人工標籤導致放射科數據分層的多種方式。
我想簡單地補充一下這最後一點，因為對於任何使用醫學圖像數據的人來說，這是一個非常重要的問題。放射學報告不是客觀的、事實上的圖像描述。放射學報告的目的是為他們的推薦人提供有用的、可操作的信息。在某些方面，放射科醫師猜測推薦人想要的是什麼信息，並且剔除那些不相關信息。
這意味著根據臨床情況、過往歷史和推薦人以及放射科醫師是誰，相同圖像的兩份報告可以被貼上不同的「標籤」。
一個極其異常的研究往往被報導為「沒有明顯變化」。向專家提供的報告可能會描述一個嚴重疾病的典型發現，但從不提及該疾病的名稱，因此不會強迫專家採取特定的治療對策。給全科醫生的報告可能會列出若干種可能的疾病，包括治療策略。影響每一張放射學報告的因素有很多，所有因素都會給放射學報告帶來結構性噪音。每個小案例都可能有獨特的可學習的圖像特徵。
我已指出一個可能的圖像偏差。氣胸組中的模型可能正在尋找胸腔引流管。事實上幾乎每個帶有大口徑胸腔引流管的患者都有氣胸，但這並不意味著氣胸是可見的或重要的。
還有很多其他視覺元素可將患者分成幾組，包括圖像質量、導入裝置如起搏器或心電圖導聯的存在、身體習性等等。這些因素都不是「診斷性的」，但它們很可能與標籤有不同程度的相關性，深層網絡要找的很可能就是這樣的東西。
醫學研究人員長期以來一直在處理臨床數據的分層管理。這就是為什麼他們花費如此之多時間來描述其數據集的人口統計性特徵，像年齡、性別、收入、飲食、運動等許多其他事情都會導致「隱藏」分層。我們在基本層面上也應該如此。檢查你的訓練和測試數據中的人口統計學特徵是大致相似的，但這還不夠，我們還需要粗略地知道整個群組的視覺外觀分布是相似的，這意味著你需要查看圖像。
不要誤解我的意思，這些問題並不意味著深度學習應用於醫學影像是毫無價值的。深度學習最重要的一點是它奏效。雖然我們現在還不明白為什麼，但是如果你給到深層網絡很好的標籤和足夠的數據，它將優先為這些類別學習有用的特徵，而不是無意義的瑣碎特徵。
事實上在瀏覽我正在構建的標籤時，我將在下一篇文章中展示深層網絡確實能從這些圖像中學習胸部 X 射線的相關有用信息。
TL:DR
與人類視覺評估相比，ChestXray14 數據集中的標籤不準確、不清楚，並且經常描述醫學上的次要發現。
這些標籤問題在數據之中是「內部一致的」，這意味著模型可以展示「良好的測試集性能」，同時仍然產生不具有醫學意義的預測。
以上問題表明目前定義的數據集不適合訓練醫療系統，對數據集的研究不能在沒有附加正當理由的情況下生成有效的醫療聲明。
查看圖像是圖像分析的基本的「完整性檢查」。如果你構建數據集時，沒有能夠理解你的數據的人在查看圖像，那麼期望數據集奏效將非常錯誤。
醫學圖像數據充滿分層元素；有用的特徵幾乎可以學到任何東西。查看你的模型是否每一步都照常運行。
我會在下篇文章中發布一些新標籤，並表明只要標籤足夠好，深度學習就可以在這個數據集中工作。
附錄 1：來自 ChestXray14 team
由於我與該團隊合作過，該數據集文檔已經被更新過多次。他們在論文中並沒有關於該數據集的更多討論，因此他們將這一部分放在了數據集 FAQ 裡：
問題 08：對圖像標籤準確率的普遍擔憂。
回答：關於已發布的圖像標籤，我們有幾件事情需要闡明：
同樣的診斷可能會使用不同的術語和習語：這些圖像標籤是使用 NLP 技術從放射醫學報告中挖掘出來的。那些疾病關鍵詞完全是從報告中提取出來的。放射專家通常使用他們自己偏好的術語和習語描述診斷結果，其中在描述中使用所有可能的術語的可能性是很小的。
應該使用哪個術語：我們明白，僅僅基於圖像的診斷分辨確定的病理學症狀是很困難的。然而，也可能存在多種其它來源的信息可用於放射學診斷。報告中使用的診斷術語是基於所有可用信息而決定的，而不僅僅是圖像診斷。
使用 NLP 提取實體是不完美的：我們嘗試通過消除疾病說明中的所有可能的否定詞和不確定案例以最大程度地發現準確疾病診斷的召回率。諸如「很難排除...」的術語會被當成不確定案例，然後對應的圖像會加上「No finding」的標籤。
「No finding」和「normal」是不一樣的。被標記「No finding」的圖像可能包含除列出的 14 種疾病模式之外的模式，或者在 14 種疾病模式之內的不確定診斷。
我們鼓勵其他人分享他們自己的標籤，最好是來自一群放射專家的數據，從而還可以獲得觀察者可變性的信息。我們已發布的圖像標籤僅僅是鼓勵其他研究者關注在大型數據集上「自動地解讀胸透圖」的第一步，這些標籤還需要社區的幫助以提升質量。
我真的很感謝作者們將這些對我的問題的回答放進他們的文檔中。我是在收到這些回答之後才開始寫這篇文章的，我並不認為他們充分地解決了我的擔憂。
附錄 2：Re：CheXNet
CheXNet是吳恩達和他在史丹福大學的團隊建立在 ChestX-ray14 數據集之上的研究，因聲稱該模型在胸透檢測肺炎的表現「超過放射科專家」而受到社交媒體的廣泛關注。如下圖所示，吳恩達本人表示：
這篇論文稍微超出了本篇討論的範圍，因為和使用 ChextXray14 一樣，他們需要人類醫生對測試集之一進行可視化檢查並標記圖像。這種策略大概可以解決上述我列舉的大部分問題。
我尚不確定如何把他們的結果整合到我的分析中，因為它們在原始標籤和人類標籤上都表現很好。我相信他們是獨立地訓練模型分別進行兩個測試的。
我最近正與該團隊聯繫，未來將與他們進一步討論該論文。