人工智慧瓶頸之神經網絡的可解釋探討

2021-01-12 我是天邊飄過一朵雲

人工神經網絡(Artificial Neural Network,ANN)是一種模仿生物神經網絡結構和功能的數學模型或計算模型,在給定條件下能近似地逼近任意複雜的函數或分布。近年來,隨著深度學習,即深度神經網絡的迅速發展,神經網絡模型在自然語言處理、語音識別、計算機視覺等眾多領域獲得突破性進展,取得了令人矚目的成果。

然而隨著深度學習技術在多個領域的大量應用,其背後隱藏的安全問題也隨之而來。特別是在醫學診斷、網絡安全、自動駕駛等對安全性有較高要求的領域,深度神經網絡所隱藏的安全風險限制了其自身在更多領域的應用和推廣,引起了政府、學術界及工業界的關注。基於深度神經網絡的人工智慧系統主要面臨結果不可驗證和過程不可審查兩大安全問題。結果不可驗證指的是基於深度神經網絡的人工智慧系統輸出結果無法被判斷、預測,智能系統行為邊界難以掌握,導致系統不可控,本質上是深度神經網絡結果不可判讀。過程不可審查指的是系統決策背後的邏輯不明,代碼實現缺乏可信度,本質上是深度神經網絡的實現機理與決策邏輯難以理解。

實際上,人工智慧系統所面臨的兩大安全問題的根源在於深度神經網絡的不可解釋性。深度神經網絡可解釋性定義為可判讀(interpretability)和可理解(explainability)兩方面的內容。可判讀性,即深度神經網絡輸出可判讀,結果可預測,能有效建立起輸入空間與輸出空間的映射關係,有利於人們掌握系統的行為邊界,從而避免基於深度神經網絡的人工智慧系統所面臨的不可驗證問題。可理解性,即深度神經網絡內部工作原理透明,各模塊作用意義可見,能對模型輸出結果做出解釋,揭示其背後的決策邏輯,並能有效地分析模型內部的邏輯漏洞和數據死角,解決基於深度神經網絡的人工智慧系統所面臨的不可審查問題。因此,隨著基於深度神經網絡的人工智慧系統的廣泛應用,亟須對神經網絡的可解釋性進行研究並構造可解釋的神經網絡,從而提高人工智慧系統的安全性,保障人工智慧應用在各大領域能安全有效地運行。

針對上述人工智慧系統中的安全問題,國際標準化組織/國際電工委員會(ISO/IEC)成立了人工智慧可信研究組,開展人工智慧安全標準化的研究。其主要工作為:通過研究人工智慧可驗證性、可解釋性、可控性等調查建立可信人工智慧系統的方法。目的是通過增強深度學習的可理解性來建立可靠、可信的深度學習系統,主要解決其面臨的過程不可審查的安全問題。目前,神經網絡可解釋性的研究大多基於數據可視化和代理模型等技術,即在深度神經網絡模型構建前後,對輸入、輸出進行可視化,並依此對神經網絡層進行解釋。這是對深度神經網絡模型可判讀性的研究,其本質上僅涉及到深度學習智能系統安全中的不可驗證問題。換言之,這些工作難以解決其所面臨的不可審查問題。因此,亟待研究一個能同時提高深度神經網絡可判讀性和可理解性,進而解決基於深度神經網絡的人工智慧系統中結果不可驗證和過程不審查兩大問題的方法。

可微編程(Differentiable Programming)作為一種新型的研究方法,受到了學術界的關注。可微編程最早由ACM圖靈獎得主雅恩·樂昆(Yann LeCun)教授提出,其核心思想是將神經網絡當成一種語言,從而描述客觀世界的概念以及概念相互之間的關係。這與現代科學將數學視作一門科學語言從而描述客觀世界的思想是一脈相通的。目前可微編程主要集中在將現有的機器學習的方法轉化成等價的神經網絡,使得模型同時具有傳統統計機器學習方法的可解釋性強以及深度神經網絡性能較優等優點,極大地提高了深度神經網絡的可判讀性和可理解性。與現有的神經網絡可解釋性研究方法不同的是,基於可微編程的神經網絡可解釋性研究,旨在直接構建一個可解釋的神經網絡模型,而非對已有的深度神經網絡模型進行解釋。後者往往是通過一個新的模型來解釋現有的不可解釋的「黑箱」神經網絡,而這樣的可解釋性研究通常是不可靠的,甚至會造成誤導。前者則通過直接構建一個繼承自統計機器學習或現實物理模型的可解釋的深度神經網絡模型,提供一個可靠的、透明的、可信的人工智慧系統。

綜上,神經網絡的可解釋性不同於可解釋的神經網絡。前者一般針對已有的神經網絡結構、行為、決策等進行解釋,而後者則著重直接構建可解釋的神經網絡模型,其結構、工作原理、決策行為及輸出結果本就能為人理解。但是目前大多相關研究僅局限於神經網絡的可解釋性而非可解釋的神經網絡。正如魯丁(Rudin)教授2019年在《自然-機器智能》(Nature Machine Intelligence)上發表的論文所言:人們亟須對可解釋的深度神經網絡進行研究,而不應局限於研究神經網絡的可解釋性。

相關焦點

  • 人工智慧之卷積神經網絡(CNN)
    前言:人工智慧機器學習有關算法內容,請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下卷積神經網絡(CNN)算法。^_^本文引用地址:http://www.eepw.com.cn/article/201806/381807.htm  20世紀60年代,Hubel和Wiesel在研究貓腦皮層中用於局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的複雜性,繼而提出了卷積神經網絡CNN(Convolutional Neural Networks)。
  • 人工智慧神經網絡和生物大腦有什麼區別 神經網絡將如何發展
    Zador的論文標題為「對純學習以及人工神經網絡可以從動物大腦學到的知識的批判」,解釋了為何擴大AI算法的當前數據處理能力將無法幫助提高狗的智能,更不用說人類了。Zador解釋說,我們需要的不是從頭開始學習一切的AI,而是像有機物一樣具有內在能力的算法可以與學習經驗相輔相成。
  • 新型神經網絡晶片:由憶阻器構成,為人工智慧提速!
    導讀人工智慧發展迅猛,而時間和能量的大量損耗仍然是制約其性能的一個瓶頸。最近,法國科學家利用憶阻器開發出一種神經網絡晶片,對於人工智慧來說,不僅降低它的能耗,而且還提升了速度。例如,人工智慧神經網絡可在晶片上運行,用於手機或者無人駕駛系統的圖像分析;另外,將人工智慧神經網絡用於眼球追蹤系統,用於心理學和市場調查;還有,用人工智慧進行精神和心理疾病的治療;甚至,人工智慧還可以和可穿戴技術結合,實時檢測人類情緒變化。然而,目前人工智慧技術的發展,大部分都還是在模仿人腦的工作的方式。當今信息世界中,這樣的一種方式稱為「神經網絡」。
  • ICML 2019 | 神經網絡的可解釋性,從經驗主義到數學建模
    但是,尋找適當的數學工具去建模深度神經網絡表達能力和訓練能力,將基於經驗主義的調參式深度學習,逐漸過渡為基於一些評測指標定量指導的深度學習,是新一代人工智慧需要面對的課題,也是在當前深度學習渾渾噩噩的大背景中的一些新的希望。
  • 人工智慧、機器學習、神經網絡和深度學習之間是什麼樣的關係?
    第一次和第二次浪潮都消失在歷史的長河裡,他們在那個年代都遇到了自己的問題,比如第一次是因為在完美的完成了一些人工智慧項目後,遇到更複雜的需求時卻被發現當時的人工智慧技術,並沒有能力將其解決,導致了世界主力研究的國家中斷了人工智慧的研究經費。第一次發展因為缺錢而中止了,本質上還是技術遇到了瓶頸。
  • 人工智慧神經網絡你知道是什麼嗎
    打開APP 人工智慧神經網絡你知道是什麼嗎 企業新聞 發表於 2020-04-09 11:28:47 這個無需解釋太多,因為通過各種科幻電影我們已經對人工智慧很熟悉了。大家現在感興趣的應該是——如何實現人工智慧? 從1956年夏季首次提出「人工智慧」這一術語開始,科學家們嘗試了各種方法來實現它。這些方法包括專家系統,決策樹、歸納邏輯、聚類等等,但這些都是假智能。直到人工神經網絡技術的出現,才讓機器擁有了「真智能」。 為什麼說之前的方法都是假智能呢?
  • 什麼是人工智慧?- 人工智慧系列講座 01
    我們處在一個獨特的時期,一個人工智慧改變世界的時期。人工智慧將會影響我們生活的方方面面,也將會給人類社會和經濟帶來極其深遠的影響。 本系列講座將系統地,深入淺出地解釋,探討人工智慧以及相關問題,為大家提供一個人工智慧基礎知識的學習平臺。
  • 機器學習與人工智慧之六:人工神經網絡
    觀眾老爺這期講機器學習的神經網絡算法,本來小編想先介紹基於我們人類知識和規則的機器學習的,但想著打鐵要趁熱,上期我們將人類的視覺系統進行了建模,今天咱們了解一下機器學習的人工神經網絡算法,這樣能比對出機器與人的差異,也能深入理解人工智慧算法具體的實現和原理。
  • 結合神經網絡,提升ImageNet分類準確率且可解釋
    機器之心報導機器之心編輯部魚和熊掌我都要!BAIR公布神經支持決策樹新研究,兼顧準確率與可解釋性。隨著深度學習在金融、醫療等領域的不斷落地,模型的可解釋性成了一個非常大的痛點,因為這些領域需要的是預測準確而且可以解釋其行為的模型。然而,深度神經網絡缺乏可解釋性也是出了名的,這就帶來了一種矛盾。可解釋性人工智慧(XAI)試圖平衡模型準確率與可解釋性之間的矛盾,但 XAI 在說明決策原因時並沒有直接解釋模型本身。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    但深度神經網絡又被稱為「黑盒」模型,多層隱藏結構,數據 / 特徵矢量化,海量決策關鍵元等因素讓模型使用者犯難:模型決策的依據是什麼?應該相信模型麼?特別是對於金融,醫藥,生物等關鍵型任務,深度學習模型的弱解釋性成為人工智慧項目落地的最大障礙。
  • 神經網絡與人工智慧應用
    算法的改進也是 ML 進展的關鍵,包括深度神經網絡(DNN)和更快的計算機硬體。5.沒有必要詳細解釋如何做出決策大型神經網絡通過微妙地調整多達數億個數字權重來學習做出決定。解釋這種決定對人類來說很困難,因為 DNN 與人類的思維系統不同。目前的系統在這個方面相對較弱。
  • 首顆人工智慧神經網絡平臺晶片落地成都,人工智慧產業進入新階段
    據了解,市場上90%的企業都紛紛選擇涉足軟體、算法或者人臉識別、語音識別等領域,但獵雲網最近接觸到的成都市深思創芯科技有限公司CEO俞德軍博士卻認為,算法、人臉識別等應用最終都需要硬體作為載體支持,傳統晶片在人工智慧應用中速度、功耗、體積等方面有明顯的缺陷。而當前很多人工智慧領域的公司卻始終停留在軟體和算法的創新上,難以突破瓶頸,改變根本。
  • 什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?|什麼|...
    川北在線核心提示:原標題:什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?前不久,據華爾街日報報導, Uber在一宗無人車的測試過程中,造成了一名行人死亡的嚴重交通事故,除此之外,環顧我們身邊,蘋果手機的虛擬個人助理Siri有時會無法識別我們在說什麼;某些人臉識別支付   原標題:什麼是人工智慧神經網絡? 神經網絡是怎麼應用到各領域的?
  • 華泰證券: 人工智慧選股之全連接神經網絡
    人工神經網絡模型具有強大的學習能力、適應能力、計算效率,可以良好地模擬出輸入空間到輸出空間的非線性映射關係,在很多應用領域已經取得了令人矚目的成果。本報告作為華泰人工智慧系列第八篇,開始嘗試從淺層結構學習模型邁向深度學習模型的研究,探索神經網絡與多因子結合選股將擦出怎樣的火花。
  • 人造突觸問世,可用於搭建神經網絡
    科學家用有機材料製成了人工突觸,可模仿神經元之間的信息傳遞。多年以來,雖然計算機技術飛速發展,但是科學家們仍然難以構建出高效而精巧的大腦仿生計算機。過去,科學家在這個領域努力耕耘,基於人工智慧算法建立了高性能的神經網絡,但因為目前算法仍然依賴於能耗較高的傳統計算機硬體,所以還遠遠稱不上模擬人腦。構建大腦在學習時,大腦中的神經元之間會傳遞電信號。這其中,信號在突觸之間的首次傳遞是最耗能的。此後的每一次,所需的能量都會減少。
  • 神經網絡白頭鷹當logo:美國成立國家人工智慧計劃辦公室
    昨天,美國白宮科學技術政策辦公室(OSTP)根據2020年《國家AI倡議法案》成立了國家人工智慧計劃辦公室,以確保美國在未來幾年內在這一關鍵領域的領導地位。這個辦公室負責監督和實施美國國家人工智慧戰略,並將成為美國政府在人工智慧研究和決策過程中與私營部門、學術界進行協調的中心樞紐。
  • 人工智慧之神經網絡特訓班課程過半,這些內容關鍵點你不能錯過
    為此,雷鋒網聯合國內頂級 AI 培訓平臺「1024MOOC學院」,邀請到清華大學計算機系的博士生導師鄧志東教授作為授課嘉賓,舉辦「人工智慧之神經網絡特訓班」。鄧教授從事包括深度神經網絡在內的人工神經網絡研究 25 年,在清華授課 20 餘年,研究無人駕駛技術 8 年,具有非常豐富的研發和教學經驗。
  • 人工智慧之卷積神經網絡
    神經網絡的概念和組成部分人工神經網絡(Artificial Neural Networks,簡寫為ANNs)也簡稱為神經網絡(NNs)或稱作連接模型(Connection Model),它是一種模仿動物神經網絡行為特徵,進行分布式並行信息處理的算法數學模型。這種網絡依靠系統的複雜程度,通過調整內部大量節點之間相互連接的關係,從而達到處理信息的目的。
  • 神經網絡人工智慧氣體分析儀:識別多種氣味的「電子鼻」
    打開APP 神經網絡人工智慧氣體分析儀:識別多種氣味的「電子鼻」 發表於 2017-12-04 14:13:36 俄羅斯技術、系統和進程領域空間研究實驗室工作人員研製出一款小型「電子鼻」並獲專利,這是一款能快速學習的神經網絡人工智慧氣體分析儀,可識別多種化學物質的氣味。
  • 表徵學習、圖神經網絡、可解釋的 AI,ML & 機器人七大研究進展一覽
    這裡的複雜之處在於他們如何同時學習潛在空間並學會在該潛在空間進行規劃,更多詳細信息可以參閱他們的論文。這項工作真正令我吃驚的是,它是如何將個人想法組合成一個更大的工作系統。這篇論文與我見過的其它關於機器學習工作的系統論文一樣,但除了表徵特徵化神經網絡訓練這一常年慣用的技巧之外,MuZero 中提出的想法還幫助回答了關於如何為日益複雜的問題構建 AI 的深刻問題。