一文讀懂可解釋機器學習簡史,讓你的模型再也不是「Black Box」

2021-01-11 騰訊網

新智元報導

來源：arXiv

編輯：QJP

【新智元導讀】近年來，可解釋機器學習（IML） 的相關研究蓬勃發展。儘管這個領域才剛剛起步，但是它在回歸建模和基於規則的機器學習方面的相關工作卻始於20世紀60年代。最近，arXiv上的一篇論文簡要介紹了解釋機器學習(IML)領域的歷史，給出了最先進的可解釋方法的概述，並討論了遇到的挑戰。

當機器學習模型用在產品、決策或者研究過程中的時候，「可解釋性」通常是一個決定因素。

可解釋機器學習（Interpretable machine learning ，簡稱 IML）可以用來來發現知識，調試、證明模型及其預測，以及控制和改進模型。

研究人員認為 IML的發展在某些情況下可以認為已經步入了一個新的階段，但仍然存在一些挑戰。

可解釋機器學習（IML）簡史

最近幾年有很多關於可解釋機器學習的相關研究， 但是從數據中學習可解釋模型的歷史由來已久。

線性回歸早在19世紀初就已經被使用，從那以後又發展成各種各樣的回歸分析工具，例如，廣義相加模型（generalized additive models）和彈性網絡（elastic net）等。

這些統計模型背後的哲學意義通常是做出某些分布假設或限制模型的複雜性，並因此強加模型的內在可解釋性。

而在機器學習中，使用的建模方法略有不同。

機器學習算法通常遵循非線性，非參數方法，而不是預先限制模型的複雜性，在該方法中，模型的複雜性通過一個或多個超參數進行控制，並通過交叉驗證進行選擇。這種靈活性通常會導致難以解釋的模型具有良好的預測性能。

雖然機器學習算法通常側重於預測的性能，但關於機器學習的可解釋性的工作已經存在了很多年。隨機森林中內置的特徵重要性度量是可解釋機器學習的重要裡程碑之一。

深度學習在經歷了很長時間的發展後，終於在2010年的ImageNet中獲勝。

從那以後的幾年，根據Google上「可解釋性機器學習」和「可解釋的AI」這兩個搜索詞的出現頻率，可以大概得出IML領域在2015年才真正起飛。

IML中的常見方法

通常會通過分析模型組件，模型敏感性或替代模型來區分IML方法。

分析可解釋模型的成分

為了分析模型的組成部分，需要將其分解為可以單獨解釋的部分。但是，並不一定需要用戶完全了解該模型。

通常可解釋模型是具有可學習的結構和參數的模型，可以為其分配特定的解釋。在這種情況下，線性回歸模型，決策樹和決策規則被認為是可解釋的。

線性回歸模型可以通過分析組件來解釋：模型結構（特徵的加權求和）允許將權重解釋為特徵對預測的影響。

分析更複雜模型的成分

研究人員還會分析更複雜的黑盒模型的組成部分。例如，可以通過查找或生成激活的CNN特徵圖的圖像來可視化卷積神經網絡（CNN）學習的抽象特徵。

對於隨機森林，通過樹的最小深度分布和基尼係數來分析隨機森林中的樹，可以用來量化特徵的重要性。

模型成分分析是一個不錯的工具，但是它的缺點是與特定的模型相關， 而且它不能與常用的模型選擇方法很好地結合，通常是通過機器學習搜索很多不同的ML模型進行交叉驗證。

IML發展中遇到的挑戰

統計不確定性

許多 IML 方法，例如：特徵重要度的排列組合等，在不量化解釋不確定性的情況下提供了解釋。

模型本身以及其解釋都是根據數據計算的，因此存在不確定性。目前研究正在努力量化解釋的不確定性，例如對於特徵重要性的逐層分析相關性等。

因果解釋

理想情況下，模型應反映其潛在現象的真實因果結構，以進行因果解釋。如果在科學中使用IML，則因果解釋通常是建模的目標。

但是大多數統計學習程序僅反映特徵之間的相關結構並分析數據的生成過程，而不是其真正的固有結構。這樣的因果結構也將使模型更強大地對抗攻擊，並且在用作決策依據時更有用。

不幸的是，預測性能和因果關係可能是一種相互矛盾的目標。

例如，今天的天氣直接導致明天的天氣，但是我們可能只能使用「溼滑的地面」這個信息，在預測模型中使用「溼滑的地面」來表示明天的天氣很有用，因為它含有今天的天氣的信息，但由於ML模型中缺少了今天的天氣信息，因此不能對其進行因果解釋。

特徵依賴

特徵之間的依賴引入了歸因和外推問題。例如，當特徵之間相互關聯並共享信息時，特徵的重要性和作用就變得難以區分。

隨機森林中的相關特徵具有較高的重要性，許多基於靈敏度分析的方法會置換特徵，當置換後的特徵與另一特徵具有某種依賴性時，此關聯將斷開，並且所得數據點將外推到分布之外的區域。

ML模型從未在這類組合數據上進行過訓練，並且可能不會在應用程式中遇到類似的數據點。因此，外推可能會引起誤解。

如何向具有不同知識和背景的個人解釋預測結果，以及滿足有關機構或社會層面的可解釋性的需求可能是IML今後的目標。

它涵蓋了更廣泛的領域，例如人機互動，心理學和社會學等。為了解決未來的挑戰，作者認為可解釋機器學習領域必須橫向延伸到其他領域，並在統計和計算機科學方面縱向延伸。

參考連結：

https://arxiv.org/abs/2010.09337

相關焦點

  • 機器學習 101:一文帶你讀懂梯度下降
    但是在我們開始之前，你可以點擊此處獲取代碼假設你想爬一座很高的山，你的目標是最快到達山頂，可你環顧四周後，你意識到你有不止一條路可以走，既然你在山腳，但似乎所有選擇都能讓你離山頂更近。  而想要建立一個機器學習模型，我們通常需要至少3個要素——問題T、性能度量P和經驗E，我們的模型將從這其中學習到一些模式知識。  為了解決問題T，我們將使用一個簡單的線性回歸模型。該模型將從經驗E中學習，經過訓練，模型就能將其知識推廣到未知數據中。  線性模型是一個很好的學習模型。
  • 可解釋的機器學習
    也就是說，當模型對錯本身不造成很大影響的時候，解釋性並不算是很重要的要素。不過當預測模型用於金融、公共事務等重大影響決策時，解釋性就顯得尤為重要了。可解釋的機器學習理解（interpret）表示用可被認知（understandable）的說法去解釋（explain）或呈現（present）。
  • 可解釋機器學習技術之後置全局可解釋詳解
    後置全局可解釋機器學習模型從大量訓練數據中自動地學習有用模式，並將學到的知識保存到模型結構和參數中。後置全局可解釋旨在為預先訓練的模型所獲得的知識提供全局解釋，並以直觀的方式對模型參數或學習得到的表示進行說明。我們將現有的模型分為傳統機器學習和深度學習兩類，這樣分類是因為我們能夠從每個類別中提取一些類似的解釋範例。
  • 「可解釋學習」利用SHAP對分子活性預測機器學習模型進行解釋
    文章利用可解釋學習方法SHAP（SHapley Additive exPlanation）對基於複雜機器學習模型的分子活性預測模型進行解釋，嘗試打開「黑箱」。但是，機器學習模型的難以解釋的特性一直為人們所詬病，尤其是預測精度高的模型往往複雜度更高和規模更大，解釋性（Interpretability）更差。而對於QSAR模型，其中分子結構與活性的關係比起普通的圖像識別任務中標籤和圖片關係更難以理解，這增加了解釋模型的難度。這些複雜的機器學習模型的解釋有著重要的意義，可以提高模型與真實實驗符合程度從而提升模型性能，以及輔助分子作用機理的探索等。
  • 一文帶你讀懂計算機視覺
    這是一種機器學習模型，專門用於目標檢測的特徵提取。Haar分類器速度快但準確度低。請參閱：https://docs.opencv.org/3.4.3/d7/d8b/tutorial_py_face_detection.html 中有關於如何使用它的更詳細解釋和示例。
  • 一文帶你讀懂自然語言處理 - 事件提取
    我們可以用任何形式的文本，只要這些文字的內容可通過時間線表示。本文選用 newsapi，從該數據源獲取數據很容易，其開發者計劃每天可獲取500個免費請求。注，本文跳過了整個文本預處理環節，因為與本文不太相關。不過，如果你是新手，應用模型前務必作預處理 → 請打開原文查看一篇很好的教程。SpaCy的預訓練詞嵌入模型，可幫助獲取獨立詞語的含義，進一步獲得整句句子的含義。具體來說用的是SpaCy large model (en_core_web_lg), 其中包含了685k英語單詞的預訓練詞向量。
  • 萬字乾貨 | 一文助你了解機器學習
    如果你感覺組件化還是麻煩，那麼筆者要告訴你，現在自動化建模也是一大趨勢，國外的datarobot就是其中的典型產品，只需要上傳一份打好標籤的csv數據，選擇標籤，點擊開始，系統自動從數千開源模型中選擇100個模型進行自動化調參訓練，選出最優模型，並提易懂專業的數據和模型分析報告，指導非專家用戶使用。
  • 深度學習的可解釋性研究(一):讓模型「說人話」
    但深度學習模型很難說上面這兩幅圖到底是因為哪些區別導致了判定結果出現了如此大的偏差。儘管關於對抗樣本的研究最近也非常火熱，但依然缺乏具備可解釋性的關於這類問題的解釋。當然很多學者對可解釋性的必要性也存有疑惑，在 NIPS 2017 會場上，曾進行了一場非常激烈火爆的主題為「可解釋性在機器學習中是否必要」的辯論，大家對可解釋性的呼聲還是非常高的。
  • 九分鐘帶你讀懂「時間簡史」
    《時間簡史》是英國物理學家史蒂芬·霍金創作的科學著作這本書從1988年出版以來，已經被翻譯40多種文字，暢銷全球。這本書如此流行，很多人都想知道霍金說了什麼，但是拿到書子後發現不容易讀下去啊。那就讓今天的解讀來帶你讀懂這本神作。
  • 一文讀懂磁傳感器(必須收藏)
    【點擊藍色標題，獲取文章】 >、一文讀懂接近傳感器 3、一文讀懂磁傳感器 4、一文讀懂流量傳感器
  • 不會做特徵工程的 AI 研究員不是好數據科學家!上篇 - 連續數據的...
    然而面對實際問題時，收集到的數據往往不是像數據集中那樣整理好的，直接用來跑模型會帶來各種各樣的問題。這時候我們就開始回憶起「特徵工程」這一組容易被忽略但解決問題時不可或缺的硬功夫。數據科學家 Dipanjan Sarkar 近日就發布了兩篇長博客介紹了一些基本的特徵工程知識和技巧。這篇為上篇，主要介紹連續型數值數據的特徵工程處理方法。雷鋒網 AI 科技評論全文編譯如下。
  • 三張圖讀懂機器學習:基本概念、五大流派與九種常見算法
    四大會計師事務所之一的普華永道（PwC）近日發布了多份解讀機器學習基礎的圖表，其中介紹了機器學習的基本概念、原理、歷史、未來趨勢和一些常見的算法。為便於讀者閱讀，機器之心對這些圖表進行了編譯和拆分，分三大部分對這些內容進行了呈現，其中也加入了一些擴展連結，希望能幫助你進一步擴展閱讀。 一、機器學習概覽
  • 英語詞彙:黑馬可不是black horse!
    新東方網>英語>英語學習>語法詞彙>詞彙指導>正文英語詞彙：黑馬可不是black horse！ 2018-04-18 11:19 來源：網際網路 作者： 　　我們中文，經常說某人曬黑了，天色變黑了，英文中可不能用black這個詞!正確的表達是什麼，看完文章吧!
  • 機器學習模型的度量選擇一
    當有人告訴你「美國是最好的國家」時，你應該問的第一個問題是，這種說法是基於什麼。我們是根據每個國家的經濟狀況，還是根據它們的衛生設施等來判斷它們？類似地，每個機器學習模型都試圖使用不同的數據集來解決目標不同的問題，因此，在選擇度量標準之前了解背景是很重要的。最常用的度量在第一篇博客中，我們將只討論回歸中的度量。
  • 一文讀懂電容傳感器
    藍色標題，獲取文章】 10、一文讀懂光纖傳感器 11、一文讀懂溫溼度傳感器 12
  • 一文就讀懂機器學習及其在遙感中的應用
    如果一個人只是為了預測而做模型，而不是為了獲得真知灼見，那麼這個工作流就會在這裡結束，一個人開始在生產中實現訓練的模型。然而，如果一個人正在寫一篇研究論文，或者想要獲得真知灼見，那麼你就可以用圖形庫繪製出結果，並從圖表數據中得出真知灼見。我們將對數據清洗和模型構建部分進行分析。
  • 使用Flask部署機器學習模型
    我所學的一切都集中在模型構建組件上。沒有多少人會談論如何部署你的機器學習模型。把你的模型投入生產意味著什麼？它需要什麼？這些都是每個數據科學家需要回答的關鍵的職業定義問題。這就是為什麼我決定寫下這個教程來演示如何使用Flask來部署機器學習模型。
  • TensorFlow Lattice:靈活、可控、可解釋的機器學習
    字幕組雙語原文：TensorFlow Lattice：靈活、可控、可解釋的機器學習英語原文：TensorFlow Lattice: Flexible, controlled and interpretable ML翻譯：雷鋒字幕組（ZeroJ）大多數的機器學習實踐者都曾遇到過訓練數據和實際運行時用以評估模型的樣本差別很大的情況。
  • 機器學習模型評估指標Python代碼示例
    我們什麼時候評估我們的機器學習模型呢?答案不是只有一次。通常，我們在實際的數據科學工作流中兩次使用機器學習模型驗證指標:模型比較：為您的任務選擇最佳機器學習（ML）模型模型改進：調整超參數為了更清楚地了解這兩者之間的區別，讓我通過機器學習（ML)實現的工作流程來解釋。
  • 圖機器學習有多大神力?一文帶你回顧2020,展望2021
    【新智元導讀】近兩年，圖機器學習可謂是機器學習研究領域的新星，隨著模型的更新和應用的推廣，越來越多的人開始把注意力轉向了這一方向。過去一年中，圖機器學習在哪方面有突破呢，在未來的一年中，哪些分支和方向會成為新的研究趨勢呢？這篇文章，帶你領略該領域諸多名人的最新思考。2020年，圖機器學習成為了機器學習領域中炙手可熱的」明星「。