最近，一位澳大利亞的人工智慧博士候選人在 LinkedIn 上發布了一篇關於 SARS-CoV-2 病毒的研究文章。由於極具話題性且號稱準確率可以達到 97.5%，這篇文章很快得到上萬條評論、點讚與轉發。然而，這樣一個模型卻被扒出背後只用了 50 張圖片訓練。
一周搭起準確率達 97% 的模型，事實是？
此前，一位澳大利亞的人工智慧博士候選人宣布構建了一套深度學習模型，能夠從肺部 X 光片中以 97.5% 的準確率檢測出患者是否感染了 COVID-19 病毒。因為國外疫情蔓延且醫療設施不足，因此人們對這個成果非常關注，短短時間就收穫到了上萬條評論、點讚和轉發，其還創建了 Slack 工作組，得到了大量讚美。
從目前公布的消息來看，整個項目具有以下特點：
一套經過訓練的 PyTorch 模型容器化應用代碼一套 GitHub 庫，並被翻譯為多種語言正在開發中的 Web 應用程式正在開發中的行動應用程式規劃藍圖，有意在 AWS 中利用無伺服器架構託管這套模型在營銷與贊助方面還有大量後續計劃而以上的一切，都在一周之內快速完成。隨後，Reddit 網友扒出這套解決方案存在幾個嚴重問題，並對此進行了整理與反駁。
只用了 50 張圖像訓練？
首先，這些網絡的潛在神經表示非常複雜，因此必然需要使用大量訓練樣本才能完成模型訓練。但截至提交時，這款 COVID-19 檢測工具只見過 50 張肺部影像。
對於這樣一套包含 150 多層、超過 2000 萬個參數的網絡來說，如此有限的訓練樣本集顯然極為荒謬。
該模型通過肺部 X 射線影像進行學習
數據樣本有問題
此外，樣本中可能存在巨大的數據偏差，這 50 張圖片並不包含相關人員是否感染病毒，而僅根據 COVID-19 急性病例造成的肺部操作做出標記。除非肺部已經被病毒破壞，否則該模型根本無法檢測到感染跡象。此外，即使已經出現肺炎症狀，如果尚不屬於急性症狀，仍然無法證明這套模型的準確度。
圖像重複、代碼混亂、模型有問題
最後，這套 COVID 模型基於高人氣基準網絡 ResNet-50。雖然後者確實屬於圖像識別與分類領域的常用方案，但 ResNet 的預訓練一般只涵蓋日常環境下的物體。換言之，ResNet 網絡中的隱藏層更擅長識別幾何形狀與彩色圖像，在 X 射線影像中，我們明顯找不到這樣的模式。也正因為如此，大多數醫學神經網絡才只能選擇從零開始構建的開發方式。
進一步觀察這套代碼庫，我們還發現了不少其他問題。訓練、驗證與測試數據集中包含重複的圖像，大部分訓練過程直接照搬 PyTorch 教程，混有大量不必要的代碼；Github issues 也令人完全無法理解……
GitHub 地址： https://github.com/elcronos/COVID-19
項目負責人回應：我說了項目不可用
最初，個別開發者與項目負責人溝通並提出質疑時，對方回應稱：
xxx，你好，我們的成果已經得到加拿大 xxx 研究機構放射科醫生的支持與認可
然而，隨著質疑聲越來越多，項目負責人更新了 GitHub 中的介紹，並表示：
儘管該項目的結果「看起來很有希望」，但我明確指出該模型遠沒有可用，因此不應將其用於診斷或任何醫療決定。這是在進行中的工作，我們需要具有相關技能的人員的幫助。我還在 GitHub 存儲庫中指出，我正在尋找能夠改善和收集更好數據集的開發者的幫助。…不幸的是，這個項目引起了相關專家的注意，他們沒有注意模型尚未準備就緒，且需要更好的數據集並幫助創建更好的模型，也沒有閱讀我們的所有免責聲明。就指責該項目具有誤導性，甚至有人暗示我對此有商業意圖。這對我的個人生活造成了一些負面影響，因此，我決定暫時退一步，暫時退出社交媒體。至少在接下來的幾天，我將不活躍於此組中。完整版聲明參照： https://github.com/elcronos/COVID-19
然而，這位負責人此前還在大肆宣揚此項目，並發起籌款。該項目負責人創建了一個包含多個子頻道的 Slack 討論組，其中有 一個 #marketing 頻道，專門用於溝通以及籌措資金。另外，#sponsors 頻道則負責與潛在投資者交流，向其報告未來的投資回報前景。
Slack 討論組： https://app.slack.com/client/T010AJ5H31N/learning-slack
此外，名為 #datascientists 的頻道中沒多少有用的內容，裡面充斥著熱情滿滿但沒什麼經驗的新手。同樣的，#doctors 頻道情況也差不多，唯一有價值的內容就是來自專業醫療人員的反對意見，例如並不推薦利用肺部 X 射線診斷 COVID-19 感染。最後一個子頻道 #researchers 則幾乎沒人。
另一方面，UI/UX 頻道產出的內容倒是頗為豐富。此項計劃目前已經擁有 5 款不同的徽標，外加一套專門用於移動與 Web 應用程式的界面。
因此，對於這份聲明，大部分開發者並不買帳，不少人認為 在當前的特殊情況下，這類存在嚴重問題的項目不應發布並大肆宣傳（甚至有開發者調侃道宣傳的工作量大概是開發工作的 20 倍）。
醫學診斷中的深度學習
深度卷積網絡在疾病的診斷與治療方面確實具有一系列潛在優勢。近年來發表的眾多科學出版物中都在高度關注這一全新發展方向：
2016 年，來自倫敦的一組研究人員發表一種新方法，以包含 8 萬張眼底照片的數據集為基礎，能夠以 86% 的準確率診斷出患者因糖尿病引發的視網膜病變。同一年，來自烏幹達的研究人員利用包含 10000 個對象的數據集，評估了卷積神經網絡（CNN）對微觀血液塗片的分析能力。兩位日本研究人員通過包含 55 萬例 CT 掃描影像的數據集，對肺結節進行一輪規模浩大的分類操作。但前文提到的新冠病毒檢測完全不同，稍微瀏覽其公布的代碼庫，就能看出該作者對深度學習及 AI 技術的認知嚴重不足。更糟糕的是，眾多開發者都在質疑其明顯是想利用此次疫情爆發對自己進行推廣。
說好的代碼改變世界呢？
深度學習絕不是百試百靈的解決方案。近年來，無數沒有做好準備的企業匆匆在內部建立起數據團隊，最終卻發現成本迅速提升的同時得不到任何有意義的產出。
此前，李飛飛在接受訪談時曾提到：
泡沫確實存在，過度誇張、炒作可以說鋪天蓋地。作為科學家，我希望這些泡沫都儘快消散。只有關注堅實內核的人們才能推動 AI 進步並帶來真正的收益，這一點在醫療保健與醫藥等領域尤其重要。另外，我們絕不應該利用技術製造不公、偏見或者擴大原已存在的不平等現象。對於 AI 技術，我希望儘可能降低它的接觸門檻、增加公平性並緩解種種相關矛盾。只要處理得當，我們完全有機會利用 AI 技術創造出更美好的未來。當然，前提是我們得認真梳理現有 AI 成果，弄清哪些是捏造的、哪些是真實的。
延展閱讀：《李飛飛最新訪談：希望 AI 領域泡沫儘快消散，尤其是醫療部分》
如今，AI 技術仍然在以開創性的方式推進。忽略掉這一點，很容易陷入炒作的泥潭。
說到這裡，任何有理智的開發者都不會貿然進入，將自己的命運完全交給運氣。相反，只有首先建立起擁有 AI/ML、DataOps、架構、開發等領域專業知識的團隊，才有可能在這場攻堅戰中勝出。
最後，代碼不能讓世界變得更好也無妨，別禍亂即可。
關注我並轉發此篇文章，私信我「領取資料」，即可免費獲得InfoQ價值4999元迷你書！