神經網絡是怎樣理解圖片的?谷歌大腦研究員詳解特徵可視化

2021-01-15 電子產品世界

  我們總是聽說人工智慧在圖像識別上超越了人類,刷臉也逐漸成了生活中司空見慣的事兒。這些圖像識別技術背後,通常是深度神經網絡。

本文引用地址:http://www.eepw.com.cn/article/201711/371232.htm

  不過,神經網絡究竟是怎樣認識圖像的?


  △特徵可視化能夠告訴我們神經網絡在圖片中尋找的是什麼

  特徵可視化這個強大的工具,就能幫我們理解神經網絡內部的世界,知道它們的工作原理。

  谷歌研究員Christopher Olah、Alexander Mordvintsev和Ludwig Schubert今天在distill博客上發文深度探索了特徵可視化這個問題,並順便介紹了一些新trick。

  distill.pub是Olah等人今年3月推出的機器學習網站,會不定期發表文章,以可視化、可交互的方式來展示機器學習研究成果。

  原文地址:https://distill.pub/2017/feature-visualization/。其中包含大量可交互的示例圖片。

  下面,量子位對這篇文章做個簡要的介紹:

  在2015年穀歌推出的DeepDream基礎上,經過AI研究界後來的共同努力,現在,計算機視覺模型中每一層所檢測的東西都可以可視化出來。經過在一層層神經網絡中的傳遞,會逐漸對圖片進行抽象:先探測邊緣,然後用這些邊緣來檢測紋理,再用紋理檢測模式,用模式檢測物體的部分……


  上面是ImageNet訓練的GoogLeNet的特徵可視化圖,我們可以從中看出它的每一層是如何對圖片進行抽象的。

  在神經網絡處理圖像的過程中,單個的神經元是不能理解任何東西的,它們需要協作。所以,我們也需要理解它們彼此之間如何交互。

  通過在神經元之間插值,我們可以更好地理解他們是如何彼此交互的。下圖就展示了兩個神經元是如何共同表示圖像的。



  Distill原文中的這個例子,能夠動手探索不同神經元組合在一起會得到什麼結果。

  當然,這篇文章還介紹了一些特徵可視化的trick。

  在進行特徵可視化時,得到的結果通常會布滿噪點和無意義的高頻圖案。這些高頻圖案似乎和strided convolution或者池化關係密切。



  △反向傳播時,每次strided convolution或池化都會在梯度幅值上創建棋盤格圖案

  我們想更好地理解神經網絡模型是如何工作的,就要避開這些高頻圖案。這時所用的方法是進行預先規則化,或者說約束。改變梯度也是一種方法,這種優化方法稱為預處理(preconditioning)。

  當然,了解神經網絡內部的工作原理,也是增強人工智慧可解釋性的一種途徑,而特徵可視化正是其中一個很有潛力的研究方向,谷歌的幾位研究員將其視為幫人類理解神經網絡的一個基礎模塊,可以與其他工具結合使用。


相關焦點

  • 谷歌大腦發布神經網絡的「核磁共振」,並公開相關代碼
    傳統的嘗試進行可解釋性研究的方法是通過查看網絡中哪個神經元被激發來來理解,但是即使我們知道「第538號神經元被激發了一點點」也毫無意義,並不能幫助我們理解神經元在網絡中的意義。為了解決這樣的問題 Google Brain的一些研究人員開發了神經網絡特徵可視化方法。2015 年上半年的時候,谷歌大腦的人員就嘗試將神經網絡理解圖像並生成圖像的過程進行可視化。
  • OpenAI發布「顯微鏡」,可視化神經網絡內部結構
    意為可以像實驗室中的顯微鏡一樣工作,幫助AI研究人員更好地理解神經網絡的結構和特徵。如上,點擊神經網絡的每一層,OpenAI 顯微鏡都會對處理圖片的過程進行可視化的展示,具體到每一個神經元都會對應一張處理後的圖片。非常清晰的展示了每一張圖片的「漸進」過程。據OpenAI介紹,這種探索神經元的過程,對另一份神經網絡可解釋性研究《Zoom In: An Introduction to Circuits》提供了意想不到的幫助。
  • 谷歌大腦提出概念激活向量,助力神經網絡可解釋性研究
    雖然創建高級深度神經網絡相對簡單,但理解如何創建這些模型以及它們如何使用知識仍然是一個挑戰。谷歌將可解釋性原則總結如下:理解隱藏層做了什麼:深度學習模型中的大部分知識是在隱藏層中形成的。要解釋深度學習模型,必須要從宏觀角度理解不同隱藏層的功能。理解節點是如何激活的:可解釋性的關鍵不是理解網絡中單一神經元的功能,而是要理解在同一空間位置一起激活的互相連接的神經元組。通過互相連接的神經元組分割網絡可以從更簡單的抽象層次來理解其功能。
  • 谷歌圖像識別神經網絡製造幻景
    今天36氪的一篇報導說:Faebook的AI技術可以自主生成一些含有飛機、汽車、小鳥等東西在內的場景圖像樣本,令受試者在40%的時間把計算機生成的圖樣當作是真的照片。 今後,我們在網絡上看到的圖片,哪些是人類的創造,哪些是機器的夢想?虛擬和現實之間,還會有明確的邊界麼?
  • 谷歌的新CNN特徵可視化方法,構造出一個華麗繁複的新世界
    近日,來自谷歌大腦和谷歌研究院的一篇技術文章又從一個新的角度拓展了人類對神經網絡的理解,得到的可視化結果也非常亮眼、非常魔性,比如下面這樣,文中的結果也在Twitter上引發了許多關注和討論。他們的思路是新生成一些會讓網絡激活的圖像,而不是看那些數據集中已有的能讓網絡激活的圖像,因為已有圖像中的特徵很可能只是「有相關性」,在分析的時候可能只不過是「人類從許多特徵中選出了自己認為重要的」,而下面的優化方法就能真正找到圖像特徵和網絡行為中的因果性。總體來說,神經網絡是關於輸入可微的。
  • 小白學數據神經網絡第二彈:Google可視化體驗平臺Tensorflow Playground
    小福利:大數據文摘已經成立學生群,專為熱愛數據的學生準備,在大數據文摘後臺回復「學生」填表進群。◆ ◆ ◆引言小白學數據系列的讀者們,大家好久不見。◆ ◆ ◆幾個基本問題小白:我有點忘了什麼是神經網絡了,能不能再幫我複習一下?答:好吧。想回顧以往小白學數據系列的同學可以在文末的歷史文章回顧中找到小白學神經網絡的基礎篇。
  • 萬字長文:深度卷積神經網絡特徵可視化技術(CAM)最新綜述
    因此就有了「深度學習可解釋性「這一領域,而CAM(Class Activation Mapping)技術就是其中之一,其利用特徵可視化來探究深度卷積神經網絡的工作機制和判斷依據。本文通過七篇論文來論述該技術,並附帶代碼解析。CAM是什麼?
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    深度神經網絡的可視化作為理解人工智慧系統的主要技術,模型可視化是一個由來已久而且寬泛的話題。模型可視化與數據可視化屬於不同的範疇,數據可視化通過降維,主成分分析等技術來分析數據的結構,模型可視化針對的是對機器學習模型本身的理解。
  • 最便捷的神經網絡可視化工具之一--Flashtorch
    譯者 | VK來源 | Towards Data Science【磐創AI 導讀】:FlashTorch是PyTorch中用於神經網絡的開源特徵可視化工具包,本文介紹了如何使用FlashTorch揭示神經網絡看到的內容,歡迎大家轉發、留言。想要更多電子雜誌的機器學習,深度學習資源,大家歡迎點擊上方藍字關注我們的公眾號:磐創AI。
  • 谷歌大腦重磅研究:神經結構搜索發現全新特徵金字塔架構,超越Mask...
    新智元報導 來源:arxiv編輯:肖琴【新智元導讀】谷歌大腦的研究人員發表最新成果近日,谷歌大腦的研究人員發表最新成果,他們採用神經結構搜索發現了一種新的特徵金字塔結構NAS-FPN,可以更好地用於目標檢測。論文已被CVPR 2019接收。
  • 谷歌、Facebook研發的神經元網絡,如何進行場景識圖?-虎嗅網
    如果照片中的雲朵有點像鳥,網絡就會使其變得更像鳥一點,周而復始,直至完全體現出一隻鳥的樣子,其結果就是某種由神經元網絡生成的抽象藝術畫作。以下是谷歌的實驗過程研究人員將圖片輸入圖像識別神經網絡,並讓它識別該圖片中的一個特徵,並修改圖片以強調這項特徵。
  • 硬剛無限寬神經網絡後,谷歌大腦有了12個新發現
    那各位跑過最寬的神經網絡又有多寬呢?可能一層撐死有10個或20個神經元? 對第二個問題,谷歌的回答是:我可以跑無限寬的神經網絡。 但是對於寬度,谷歌大腦還是選擇硬剛了一波,並於近期發表了一篇論文:《有限寬與無限寬神經網絡:實證研究》,在這篇論文中,作者對無限寬神經網絡和核方法之間的對應關係進行了細緻、深入和大規模的實證研究。作者聲稱,他們在該研究中解決了與無限寬神經網絡研究相關的各種開放性問題。
  • 谷歌語音轉錄背後的神經網絡
    在過去的幾年中,深度學習在世界計算機科學難題中表現出了卓越的成就,從圖像分類、字幕添加到機器翻譯,再到可視化模型技術。最近,我們宣布了在谷歌語音轉錄上使用長短期記憶遞歸神經網絡(LSTM RNNs)所取得的成就(然而其他神經網絡也在提升服務性能)。我們想更詳細地講述我們是怎麼做到這些的。
  • 2分鐘論文 | 用 谷歌「AI可解釋性」 看懂機器學習
    上周,谷歌Jeff Dean在推特上轉發了一句話「還認為神經網絡是黑盒嗎?要不再想想 :) 」。還配上了《紐約時報》一篇名為《谷歌研究人正在搞懂機器學習》的文章。點進這篇文章發現,Jeff Dean意指論文《The Building Blocks of Interpretability》(譯名:可解釋性的基石)在神經網絡可視化方面的新進展。
  • 神經網絡結構可視化工具大全
    上面的這些圖片都是可以一鍵生成的,頓時覺得功能很強大的,各位在看網絡結構可視化的時候有沒有猜出來各個圖像對應的是哪一種模型結構呢?個人感覺這個網絡可視化工具沒有特別大的創新點,主要的亮點就在於在網絡的輸入和輸出的地方加入了輸入圖片和轉換處理後的結果圖片,視覺上更加直觀了。這款工具的GitHub地址請見下方。
  • 谷歌DeepMind 的可微分神經計算機 DNC 怎麼樣?看 Facebook AI...
    田淵棟,卡耐基梅隆大學機器人系博士學位、上海交通大學碩士學位和學士學位,前谷歌無人車項目組成員,現任 Facebook 人工智慧組研究員,主要負責 Facebook 的智能圍棋項目 Dark Forest。
  • 螢光標記out了,谷歌靠算法不用「侵入」也能識別細胞特徵
    然後,谷歌找到了他。因為谷歌一直是人工智慧領域的「扛把子」,並在神經網絡算法方面有著絕對的權威。所以Finkbeiner決定與谷歌通力合作。「我們用同一細胞的兩張不同狀態的圖像來訓練神經網絡,一張是未標記的,另一張帶有螢光標記,」Google Accelerated Science軟體工程師Christiansen解釋說,「我們重複了這個過程數百萬次,然後,我們用神經網絡模型識別未標記的那一張圖片時,發現它可以準確預測出螢光標籤所屬的位置
  • R語言——神經網絡結果可視化
    人工神經網絡(Artificial Neural Network,ANN)簡稱神經網絡,是機器學習和認知科學領域中一種模仿生物神經網絡(動物的中樞神經系統
  • AI入門:卷積神經網絡
    講到AI不得不講深度學習,而講到深度學習,又不能不講卷積神經網絡。如果把深度學習比作中國的網際網路界,那捲積神經網絡和循環神經網絡就是騰訊和阿里級別的地位。今天我們主要討論的卷積神經網絡,到底卷積神經網絡能解決什麼問題,它的結構是怎樣的?是怎麼學習的?應用在哪些具體的產品上?本文將為大家一一解答。
  • 當神經網絡遇上量子計算:谷歌證明量子神經網絡可訓練圖像分類
    曉查 發自 凹非寺 量子位 報導 | 公眾號 QbitAI谷歌人工智慧量子(Google AI Quantum)團隊最近發表了兩篇論文,介紹了他們在理解量子計算機學習任務方面取得的新進展。量子計算,它能給AI技術的發展帶來什麼幫助嗎?