探索 揭秘深度學習的隱藏層

2021-01-12 人工智慧家

人工智慧家編譯，作者 Amanda Montañez

在最近的《科學美國人》雜誌上，刊載了一篇題為「深度學習崛起帶來人工智慧的春天」文章。文中，作者計算機科學家Yoshua Bengio解釋了為什麼複雜的神經網絡是人們長時間設想的人工智慧的關鍵。想讓電腦和人一樣聰明，就必須得讓程序的思維方式和人的大腦一樣，這似乎是有邏輯可循的。

 

然而，鑑於我們對大腦機能的所知甚少，這一任務看起來著實令人望而生畏。那麼，深度學習究竟是如何工作的呢？

 

Jen Christiansen通過這一可視化圖表向我們展示了神經網絡的基本結構和功能。

有頭腦的網絡，只會越來越聰明。

 大腦皮層中，神經元之間的連接啟發人們設計出模擬這種複雜連結的算法。首先用無數張圖片訓練神經網絡，它就可以識別出一張臉。一旦它「學會」表示一張臉（比如：區分面部和手），識別出不同個體面部，這個神經網絡就可以利用學到的知識識別出以前未曾見到的臉部，即便這個人的圖像與以前訓練集中的圖像只有輕微不同。 

為了識別出面部，神經網絡首先要分析從輸入層輸入的圖像的個體像素。接下來，在下一層中，選擇特定臉部所有特有的幾何形狀。在中間層。識別出眼睛、嘴巴等其他特徵，直到更高一層識別出一張組合好的完整面部。在輸出層，網絡會猜測這是誰的臉，Joe，Chris還是Lee。


學習：神經網絡用百萬計實例樣本訓練自己，開始識別出臉部，直到神經網絡能夠從一群人或雜亂的風景中識別出個別人的面部。

識別：將面部圖片輸入神經網絡，逐層分析，直到神經網絡正確識別出是誰的臉。

顯然，在分析圖像組件，解碼圖片的過程中，這些被叫做「隱藏層」的作為一個整體，發揮了重要的作用。這其中我們應該掌握一個層次順序：從輸入層到輸出層，每一層都要處理一部分複雜的信息。但除此之外，隱藏層——正如它們的名字所表達的——始終披著一層神秘的面紗。 

 

最近有一個合作項目叫做Tensor Flow（谷歌發布的第二代深度學習系統，一個複雜的在實際應用程式中使用神經網絡的開源工具），Daniel Smilkov 和Shan Carter創建了一個神經網絡運動場，試圖通過用戶之間的交互和各類實驗，向我們揭示何為隱藏層。

 

這一張可視化圖表中包含著許多內容。在2016年的可視化盛會OpenVis上，眾多數據科學家出席，Tensor Flow項目的團隊成員Fernanda Viégas 和Martin Wattenberg也赫然在列。而我有幸聽了他們對這一圖表的部分分析。

 

取代複雜的面部表情特徵，這一神經網絡運動場採用藍色和橙色的圓點分散在一定的範圍內，以「教導」機器學會如何找出圖像並作出回應。用戶可以選擇不同複雜程度的控制點排列方式，並通過添加不同的隱藏層和每一層中的神經元細胞操控學習系統。

 

所以，每當用戶點擊「播放」的按鈕時，他可以看到像背景顏色一樣的梯度向近似藍色和橙色圓點的排列方式轉換。當圖像變得更為複雜時，附加的隱藏層和神經元將會幫助機器更成功地完成任務。

 

只使用了一個隱藏層和兩個神經元細胞，這一機器就輕而易舉地解決了這一圓點的簡單排列方式。

 

這一圖像十分複雜，機器也花費了很大的功夫才理解。

 

除了添加神經元層，這些機器還有其他更為有意義的特性，如神經元細胞之間的聯繫。這一聯繫在藍色和橙色的圓點中都有體現，但卻意義相反。藍色表明每個輸出的神經元細胞和它的內容都是一樣的，而橙色表示每個輸出的神經元細胞和它的數值都是相悖的。

 

此外，連接線的粗細程度和透明度也展示了神經元細胞聯繫的重要程度和對預測結果的信任度。就像在學習過程開始之前，我們先對自己大腦中的聯繫作了一個加強一樣。

 

有趣的是，如果我們想要建立一個更完善的機器學習神經網絡，最終，我們可能會探索發現許多有關人類大腦如何運作的新信息。可視化圖表和隱藏層探究不僅是推動這一進程的有效方式，同時也為深度學習帶來了更廣泛的受眾群。

希望在未來，機器學習能更具深度，不斷挑戰現狀，迎來技術的勝利。


註：本文為人工智慧家原創，轉載需授權並註明來源[人工智慧家]。


掃描二維碼關注





相關焦點

  • 深度學習黑盒可視化指南,從隱藏層開始
    隱藏層不直接接受外界的信號，也不直接向外界發送信號，因而如何認識隱藏層內部的工作原理和運行機制，也成為深度學習研究中的一大挑戰。可視化隱藏層是其中的一個解決方法，那如何做到呢？簡而言之，可以將神經網絡的學習方法理解為類似於新生兒通過一段時間的觀察和聆聽來學習辨認父母的方式。一旦神經網絡接收到相當大的所需數據集後，該網絡就會使用其精確的知識「權重」來證明或識別未知數據樣本上的模式。讓我們來思考一下關於面部識別的任務，網絡開始分析來自輸入層圖像的各個像素。在輸入層之後，「隱藏層」反覆學習識別幾何形狀和特徵，這些幾何形狀和特徵由眼睛、嘴唇、疤痕等特定的特徵構成。
  • 揭秘深度學習成功的數學原因:從全局最優性到學習表徵不變性
    本文的目的正是要揭示深度學習成功的奧秘。通過圍繞著深度學習的三個核心要素——架構、正則化技術和優化算法，並回顧近期研究，作者為深層網絡的若干屬性，如全局最優性、幾何穩定性、學習表徵不變性，提供了一個數學證明。
  • 深度學習大神Yoshua Bengio經典前瞻演講,幫你打通深度學習的任督...
    Yoshua Bengio連同Geoff Hinton老先生以及 Yann LeCun教授一起造就了2006年始的深度學習復興。他的研究工作主要聚焦在高級機器學習方面，致力於用其解決人工智慧問題。目前他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一（蒙特婁大學），本文是他在2009年的經典前瞻演講——「人工智慧學習深度架構」有關內容的第一部分。
  • 深度網絡揭秘之深度網絡背後的數學
    為了解決這個問題，我們將使用具有圖二結構的神經網絡——5個具有不同數量單位的全連接層。對於隱藏層，我們將使用relu作為其激活函數，而將Sigmod作為輸出層。這是相當簡單的一種構造，而不是複雜到足以成為一個需要我們深思熟慮的一個例子。
  • 深度學習背後的基礎-神經網絡揭秘
    最近， 深度學習三傑獲得了計算機界最重要的圖靈獎， 它們的貢獻都集中在對深度學習的根據神經網絡的理論突破。 今天我們看到的所有和人工智慧有關的偉大成就， 從阿法狗到自動駕駛， 從海量人臉識別到對話機器人， 都可以歸功於人工神經網絡的迅速崛起。那麼對於不了解神經網絡的同學如何入門？ 神經網絡的技術為什麼偉大， 又是什麼讓它們這麼多年才姍姍走來?
  • 入門| 獻給新手的深度學習綜述
    引言 「深度學習」（DL）一詞最初在 1986 被引入機器學習（ML），後來在 2000 年時被用於人工神經網絡（ANN）。深度學習方法由多個層組成，以學習具有多個抽象層次的數據特徵。DL 方法允許計算機通過相對簡單的概念來學習複雜的概念。
  • 另一個伊甸隱藏劇情、支線及寶箱有哪些?隱藏內容揭秘大全[圖]
    另一個伊甸隱藏劇情、支線及寶箱有哪些？在另一個伊甸的遊戲中，今日開啟了國服的公測，遊戲中有很多新的內容，還包括許多隱藏的劇情支線及寶箱等，這些都需要玩家自己去探索，接下來小編就為大家帶來另一個伊甸隱藏劇情、支線及寶箱的隱藏內容揭秘大全吧。
  • 深度學習與統計力學(I) :深度學習中的基礎理論問題
    系列預告深度學習統計力學(I) ：深度學習中的基礎理論問題深度學習統計力學(IV) ：深層網絡的信號傳播和初始化深度學習統計力學(VI) ：通過概率模型進行「深度想像」1 介紹深層神經網絡具有多個隱含層[1]，在許多領域都取得了顯著的成功，從機器視覺[2]、語音識別[3]、自然語言處理[4]、強化學習[5]，到神經科學[6、7]、心理學[8、
  • 主流的深度學習模型有哪些?
    一般來說有1-2個隱藏層的神經網絡就可以叫做多層，準確的說是(淺層)神經網絡(Shallow Neural Networks)。隨著隱藏層的增多，更深的神經網絡(一般來說超過5層)就都叫做深度學習(DNN)。然而，「深度」只是一個商業概念，很多時候工業界把3層隱藏層也叫做「深度學習」，所以不要在層數上太較真。
  • 人工智慧系列(六) 深度學習中的神經網絡
    原力君在系列的第五篇《人工智慧系列(五) 深度學習簡介》中提到深度學習可以看作是一種更高級的函數擬合方法；人工神經網絡、激活函數、代價函數、梯度下降、反向傳播是深度學習的幾個關鍵點；常見的深度學習神經網絡結構有多層感知機、DNN、CNN、RNN等。
  • 深度學習「賦能」光子結構設計
    什麼是深度學習？ 近年來，深度學習，機器學習，人工智慧等醒目的名詞不斷充斥著人們的視線。這些新概念廣泛出現在各個領域中。本文重點介紹在光子學設計中深度學習的應用。那麼究竟什麼是深度學習？
  • 人工智慧黑盒揭秘:深度神經網絡可視化技術
    但深度神經網絡又被稱為「黑盒」模型，多層隱藏結構，數據 / 特徵矢量化，海量決策關鍵元等因素讓模型使用者犯難：模型決策的依據是什麼？應該相信模型麼？特別是對於金融，醫藥，生物等關鍵型任務，深度學習模型的弱解釋性成為人工智慧項目落地的最大障礙。
  • 深度學習的學習率調節實踐
    多層感知器多層感知器（MLP）是由一個輸入層、一個或多個隱藏層和一個稱為輸出層的最終層組成的人工神經網絡（ANN）。通常，靠近輸入層的層稱為較低層，靠近輸出層的層稱為外層。除輸出層外的每一層都包含一個偏置神經元，並與下一層完全相連。當一個ANN包含一個很深的隱藏層時，它被稱為深度神經網絡（DNN）。
  • 神經網絡和深度學習簡史(全)
    換句話說，並不是只有一個輸出層，將一個輸入任意傳輸到多個神經元（所謂的隱藏層，因為他們的輸出會作為另一隱藏層或神經元輸出層的輸入）。只有輸出層的輸出是「可見」的——亦即神經網絡的答案——但是，所有依靠隱藏層完成的間接計算可以處理複雜得多的問題，這是單層結構望塵莫及的。
  • 在深度學習中對正則化的直觀認識
    這種現象在神經網絡學習中尤為普遍——學習能力越強，記憶的可能性就越大，這取決於我們這些實踐者如何引導深度學習模型來吸收我們的問題，而不是我們的數據。你們中的許多人在過去都曾遇到過這些方法，並且可能已經對不同的正則化方法如何影響結果形成了自己的直觀認識。為你們中那些不知道的人（甚至為那些知道的人！）本文為正則化神經網絡參數的形成提供了直觀的指導。
  • SpaceX發射之後:在人類探索太空的徵途中,深度學習能做什麼?
    機器之心報導參與：蛋醬、杜偉、小舟在人類探索太空的徵途中，深度學習能做什麼？在繞地球飛行了 19 個小時之後，Space X 的載人龍飛船與國際空間站成功對接了。相比於完全由政府主導的「軍用」航天時代，隨著模塊化衛星和商業航天領域的發展，更多的小型或私人機構得以參與到太空領域的探索工作中。與此同時，機器學習也在這一領域有著更加廣泛的應用，尤其是近年來興起的深度學習技術。在今年 1 月份的一篇論文中，來自牛津大學和三星 AI 的研究者介紹了深度學習在太空探索實踐中的應用。
  • 獨家 | 初學者的問題:在神經網絡中應使用多少隱藏層/神經元?(附實例)
    本文將通過兩個簡單的例子，講解確定所需隱藏層和神經元數量的方法，幫助初學者構建神經網絡。人工神經網絡（ANNs）初學者可能會問這樣的問題：該用多少個隱藏層？每個隱藏層中有多少個隱藏的神經元？使用隱藏層/神經元的目的是什麼？
  • 谷歌深度學習實驗室:讓人工智慧在虛擬接觸中訓練感知
    孩子能通過遊戲學習，為什麼機器不可以呢？對於人類來說，了解一個物件屬性最簡單的方法（它是冷是熱，是輕是重，是尖是鈍）是把它撿起來，用手把玩一下。現在，谷歌深度學習實驗室的人工智慧工程師正在用相同的方法訓練機器——通過比較虛擬積木的物理屬性探索它們。
  • 陳天奇等人提出TVM:深度學習自動優化代碼生成器
    目前的堆棧支持多種深度學習框架以及主流 CPU、GPU 以及專用深度學習加速器。 延遲隱藏（Latency Hiding）：儘管在現代 CPU 與 GPU 上，同時擁有多線程和自動緩存管理的傳統架構隱藏了延遲問題，但專用的加速器設計通常使用精簡控制與分流，這為編譯器堆棧的調度帶來了複雜性。所以，調度仍需仔細，以隱藏內存訪問延遲。
  • 深度學習鼻祖Geoffrey Hinton幫你入門帶你飛
    辛頓是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者，目前任職於多倫多大學與Google。作為人工智慧領域的三位奠基人之一，早在30年前，辛頓就已經在深度學習領域留下了自己的烙印。然而，直到計算機的性能達到深度學習的要求，辛頓才開始在學術界以外得到自己應得的廣泛認可，本文是他對於深度學習介紹的演講PPT。