人工智慧瓶頸之神經網絡的可解釋探討

2021-01-14 我是天邊飄過一朵雲

人工神經網絡(Artificial Neural Network,ANN)是一種模仿生物神經網絡結構和功能的數學模型或計算模型,在給定條件下能近似地逼近任意複雜的函數或分布。近年來,隨著深度學習,即深度神經網絡的迅速發展,神經網絡模型在自然語言處理、語音識別、計算機視覺等眾多領域獲得突破性進展,取得了令人矚目的成果。

然而隨著深度學習技術在多個領域的大量應用,其背後隱藏的安全問題也隨之而來。特別是在醫學診斷、網絡安全、自動駕駛等對安全性有較高要求的領域,深度神經網絡所隱藏的安全風險限制了其自身在更多領域的應用和推廣,引起了政府、學術界及工業界的關注。基於深度神經網絡的人工智慧系統主要面臨結果不可驗證和過程不可審查兩大安全問題。結果不可驗證指的是基於深度神經網絡的人工智慧系統輸出結果無法被判斷、預測,智能系統行為邊界難以掌握,導致系統不可控,本質上是深度神經網絡結果不可判讀。過程不可審查指的是系統決策背後的邏輯不明,代碼實現缺乏可信度,本質上是深度神經網絡的實現機理與決策邏輯難以理解。

實際上,人工智慧系統所面臨的兩大安全問題的根源在於深度神經網絡的不可解釋性。深度神經網絡可解釋性定義為可判讀(interpretability)和可理解(explainability)兩方面的內容。可判讀性,即深度神經網絡輸出可判讀,結果可預測,能有效建立起輸入空間與輸出空間的映射關係,有利於人們掌握系統的行為邊界,從而避免基於深度神經網絡的人工智慧系統所面臨的不可驗證問題。可理解性,即深度神經網絡內部工作原理透明,各模塊作用意義可見,能對模型輸出結果做出解釋,揭示其背後的決策邏輯,並能有效地分析模型內部的邏輯漏洞和數據死角,解決基於深度神經網絡的人工智慧系統所面臨的不可審查問題。因此,隨著基於深度神經網絡的人工智慧系統的廣泛應用,亟須對神經網絡的可解釋性進行研究並構造可解釋的神經網絡,從而提高人工智慧系統的安全性,保障人工智慧應用在各大領域能安全有效地運行。

針對上述人工智慧系統中的安全問題,國際標準化組織/國際電工委員會(ISO/IEC)成立了人工智慧可信研究組,開展人工智慧安全標準化的研究。其主要工作為:通過研究人工智慧可驗證性、可解釋性、可控性等調查建立可信人工智慧系統的方法。目的是通過增強深度學習的可理解性來建立可靠、可信的深度學習系統,主要解決其面臨的過程不可審查的安全問題。目前,神經網絡可解釋性的研究大多基於數據可視化和代理模型等技術,即在深度神經網絡模型構建前後,對輸入、輸出進行可視化,並依此對神經網絡層進行解釋。這是對深度神經網絡模型可判讀性的研究,其本質上僅涉及到深度學習智能系統安全中的不可驗證問題。換言之,這些工作難以解決其所面臨的不可審查問題。因此,亟待研究一個能同時提高深度神經網絡可判讀性和可理解性,進而解決基於深度神經網絡的人工智慧系統中結果不可驗證和過程不審查兩大問題的方法。

可微編程(Differentiable Programming)作為一種新型的研究方法,受到了學術界的關注。可微編程最早由ACM圖靈獎得主雅恩·樂昆(Yann LeCun)教授提出,其核心思想是將神經網絡當成一種語言,從而描述客觀世界的概念以及概念相互之間的關係。這與現代科學將數學視作一門科學語言從而描述客觀世界的思想是一脈相通的。目前可微編程主要集中在將現有的機器學習的方法轉化成等價的神經網絡,使得模型同時具有傳統統計機器學習方法的可解釋性強以及深度神經網絡性能較優等優點,極大地提高了深度神經網絡的可判讀性和可理解性。與現有的神經網絡可解釋性研究方法不同的是,基於可微編程的神經網絡可解釋性研究,旨在直接構建一個可解釋的神經網絡模型,而非對已有的深度神經網絡模型進行解釋。後者往往是通過一個新的模型來解釋現有的不可解釋的「黑箱」神經網絡,而這樣的可解釋性研究通常是不可靠的,甚至會造成誤導。前者則通過直接構建一個繼承自統計機器學習或現實物理模型的可解釋的深度神經網絡模型,提供一個可靠的、透明的、可信的人工智慧系統。

綜上,神經網絡的可解釋性不同於可解釋的神經網絡。前者一般針對已有的神經網絡結構、行為、決策等進行解釋,而後者則著重直接構建可解釋的神經網絡模型,其結構、工作原理、決策行為及輸出結果本就能為人理解。但是目前大多相關研究僅局限於神經網絡的可解釋性而非可解釋的神經網絡。正如魯丁(Rudin)教授2019年在《自然-機器智能》(Nature Machine Intelligence)上發表的論文所言:人們亟須對可解釋的深度神經網絡進行研究,而不應局限於研究神經網絡的可解釋性。

相關焦點

  • 人工智慧學習之什麼是人工神經網絡?
    許多人工智慧計算機系統的核心技術是人工神經網絡(ANN),而這種網絡的靈感來源於人類大腦中的生物結構。通過使用連接的「神經元」結構,這些網絡可以通過「學習」並在沒有人類參與的情況下處理和評估某些數據。這樣的實際實例之一是使用人工神經網絡(ANN)識別圖像中的對象。
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    但深度神經網絡又被稱為「黑盒」模型,多層隱藏結構,數據 / 特徵矢量化,海量決策關鍵元等因素讓模型使用者犯難:模型決策的依據是什麼?應該相信模型麼?特別是對於金融,醫藥,生物等關鍵型任務,深度學習模型的弱解釋性成為人工智慧項目落地的最大障礙。
  • 什麼是人工神經網絡(ANN)?
    但是直到最近幾年,神經網絡的承諾才變為現實,並幫助AI行業擺脫了漫長的冬季。儘管神經網絡幫助AI取得了飛躍,但它們也常常被誤解。這時您需要了解的有關神經網絡的所有信息。人工和生物神經網絡之間的相似性人工智慧先驅的最初願景是複製人類大腦的功能,這是自然界最聰明,最複雜的已知創造。
  • David Cox:消除偏見,用「神經符號人工智慧」書寫未來
    近年來,人工智慧迅猛發展,即便是沒有深入了解過人工智慧技術的人,想必也或多或少地聽過兩個術語——符號人工智慧和神經網絡。隨著人工智慧的發展不斷成熟,MIT-IBM 沃森人工智慧實驗室主任 David Cox 認為,如今人們需要重新審視人工智慧,他提出將上述二者結合,開發一種「神經符號人工智慧」(Neuro-Symbolic AI)。
  • 人工智慧模型可以模擬握手動作的神經環路
    人工智慧模型可以模擬握手動作的神經環路我們每天毫不費力地做出無數的抓舉動作。我們手裡拿一把鑰匙,通過操作門把手打開前門,然後從外面拉緊鑰匙,然後用鑰匙鎖上。然而,到目前為止,還沒有詳細的模型在神經水平來解釋整個過程,即從視覺信息的處理到手臂和手部肌肉的控制,以抓住這個對象。為了開發這種模型,研究人員訓練兩隻雄性恆河猴來掌握42個不同形狀和大小的物體,按隨機順序呈現給他們。在該行為實驗中,首先短暫地照亮要抓握的物體,猴子則注視每個物體下方的紅點,在紅點閃爍後以儘可能短的延遲進行抓握運動。
  • 基於空間認知的知識表示和推理探討
    這類方法覆蓋度高、推理速度快,但是推理準確度低、對抗性差,容易被欺騙,推理過程可解釋性差。 中科院院士、清華大學教授張鈸指出,第三代人工智慧是實現可解釋的、魯棒的、可信安全的智能系統,實現帶理解的人工智慧。美國國防部高級研究計劃署(DARPA)也提出,第三代人工智慧是能夠實現情景自適應的智能系統,是具有感知、推理、規劃和學習能力的智能系統。
  • ML 模型不等於「黑盒」:explainable AI 可解釋的人工智慧
    可解釋的人工智慧(explainable AI) 是機器學習領域熱門話題之一。 機器學習模型通常被認為是「黑盒」,具有內部不可知的特性。因此這些模型在應用時,往往需要首先獲取人們的信任、明確其誤差的具體含義、明確其預測的可靠性。 本文中,我們將探討 explainable AI 的內涵及其重要性,並且提供了幾個案例以幫助理解。
  • 半個世紀前發明的工具,成為了人工智慧的瓶頸
    神經網絡是一種複雜的人工智慧程序,能夠模擬人腦的計算過程。近年來,由於神經網絡的發展,頂尖人工智慧研究人員關注的焦點已經從結構化數據(例如成行成列的文字和數字)轉向了圖像。換句話說,功能強大的計算機可以通過瀏覽數百萬張貓咪的照片來了解這種小型貓科動物的特徵,但同樣的軟體卻很難解讀簡單的電子表格。
  • Facebook:易於解釋的神經元可能阻礙深度神經網絡的學習
    編輯:張倩、杜偉易於解釋的神經元對於提升神經網絡的性能來說是必要的嗎?Facebook 的研究者給出了出人意料的答案。AI 模型能「理解」什麼?為什麼能理解這些東西?回答這些問題對於復現和改進 AI 系統至關重要。但遺憾的是,計算機科學家在解釋深度神經網絡(DNN)方面的能力遠遠落後於我們利用這些網絡獲取有用成果的能力。
  • 中科院計算所設計全球首款圖神經網絡加速晶片
    近日,《中國計算機學會通訊》(CCCF)刊發了中科院計算所特別研究助理嚴明玉博士、研究員範東睿以及研究員葉笑春共同撰寫的綜述文章《圖神經網絡加速晶片:人工智慧「認知智能」階段起飛的推進劑》。文章披露,為更好地支持認知智能的發展,該團隊提出了國際首款圖神經網絡加速晶片設計 HyGCN。
  • 反之亦然,科學家開始用深度神經網絡解釋人類大腦
    而丹尼爾預想中的解決方案模仿自生物大腦,而這就是深度神經網絡。丹尼爾後來在採訪中說:「我非常清楚地記得,當我們找到一個真正可以用於解決難題的神經網絡的時候是凌晨兩點,因為不忍叫醒同事,我一個人獨自在劍橋的寒風中走來走去。」 單單在人工智慧領域,這絕對是裡程碑似的成就,但這並不是亞明斯和他的同事們的主要目標。
  • 聯想徐飛玉:深度神經網絡對人類來說還是黑盒子
    網易科技訊9月27日消息,近日,2019年The AI Summit舊金山站正式開幕,聯想集團副總裁、聯想研究院人工智慧實驗室負責人徐飛玉博士以「可解釋的人工智慧:歷史、挑戰、方法和展望」為主題進行了演講。
  • OpenAI發布「顯微鏡」,可視化神經網絡內部結構
    如上,點擊神經網絡的每一層,OpenAI 顯微鏡都會對處理圖片的過程進行可視化的展示,具體到每一個神經元都會對應一張處理後的圖片。非常清晰的展示了每一張圖片的「漸進」過程。據OpenAI介紹,這種探索神經元的過程,對另一份神經網絡可解釋性研究《Zoom In: An Introduction to Circuits》提供了意想不到的幫助。
  • 詳解凸優化、圖神經網絡、強化學習、貝葉斯方法等四大主題
    在本期訓練營(第四期)中我們對內容做了大幅度的更新,一方面新增了對前沿主題的講解如圖神經網絡(GCN,GAT等),另外一方面對核心部分(如凸優化、強化學習)加大了對理論層面上的深度。    Graph Pooling    案例:基於GCN的推薦    第八周:空間域的圖神經網絡    第九周:圖神經網絡改進與應用    第三部分
  • 院士說丨戴瓊海院士:搭建腦科學與人工智慧的橋梁
    當前,各個國家圍繞統計大腦細胞類型、建立大腦結構圖、開發操作神經迴路工具、了解神經細胞與個體行為的聯繫四個方面分別開展研究。生命科學成像儀器RUSH-I根據視場和解析度,通過將顯微鏡技術映射到二維坐標系中可劃分為四個部分,現階段的主要工作是攻克大視場、高分辨顯微鏡中的技術難題,搜尋這些技術對新一代人工智慧的推動作用。
  • 人工智慧和自然智能能否交匯?李飛飛對話斯坦福神經生物學教授Bill...
    選自hai.stanford.edu作者:SHANA LYNCH機器之心編譯編輯:張倩計算在神經科學中扮演了什麼角色?在分子水平上理解大腦能否帶來更好的神經網絡?
  • 創建新理論解釋運行原因,MIT研究者探索深度網絡的基礎理論問題
    選自Psychology Today作者:Cami Rosso機器之心編譯編輯:陳萍、杜偉在本文中,來自 MIT 的研究者探討了關於深度學習中非常基礎的問題,包括網絡的近似能力、優化的動態規律和強泛化能力等
  • 改變AI發展格局 神經擬態計算還差關鍵一步
    全球知名信息研究和分析機構高德納(Gartner)日前的預測顯示,到2025年,神經擬態晶片將成為高級人工智慧部署的主要計算架構,該晶片有望成為用於AI系統的主要計算機晶片之一。  脈衝神經網絡信息處理不再依賴計算機  傳統人工智慧主要以計算,即通過編程等手段實現機器智能。
  • 深度神經決策樹:深度神經網絡和樹模型結合的新模型
    這種模型不僅具有了基於樹模型的可解釋性的優點,同時還可以利用神經網絡中的梯度下降法來進行訓練,並可方便地利用現有的神經網絡框架實現,將使得神經網絡的過程得以用樹的方式得到有效的解釋。深度神經網絡在計算機視覺、語音識別和語言模型等很多領域取得了成功,但作為缺乏可解釋性的黑箱模型,限制了它在模型必須求證因果領域的應用,在這些領域中我們需要明確決策是如何產生的以便評測驗證整個決策過程。除此之外,在類似於商業智能等領域,知曉每一個因素是如何影響最終決策比決策本身有時候更為重要。
  • 神經科學打開了人工智慧的黑盒子
    馬格德堡大學人工智慧實驗室的Sebastian Stober將運用認知神經科學的方法來分析人工神經網絡,從而更好地理解它們的工作方式。 「認知神經科學啟發可解釋人工智慧技術研究項目」(簡稱CogXAI)將為期三年,將從德國聯邦教育和研究部獲得100多萬歐元的資助。