深度神經網絡的樣本空間到特徵空間的非線性映射

2020-12-28 閒聊代碼

上篇把樣本空間到特徵空間的轉換解釋為一個矩陣,並認為非線性激活函數可以降低網絡的層級。

非線性激活函數也有線性區域,tanh、sigmond在0附近接近一條直線,RELU在大於0的區域就是直線y=x,如果處於線性區域完全可以當常數來看。

這次,我們假設樣本空間到特徵空間的變換是非線性的(這也更符合實際情況),那麼我們可以用一組線性無關的基,把它展開,並且獲得一個係數矩陣A。

這組基,如果是1,x,x^2,...,那麼就是泰勒展開。

如果是1,sinx,cosx,sin2x,cos2x,...,就是傅立葉展開。

也可以是1,e^x,e^2x,...,等等,唯一的要求就是線性無關。

除了輸入從X變為f(X)之外,f(X)為樣本在基上的坐標,其他沒有變化。

這時,激活函數的逐層疊加,可以看作對展開式的因式分解,激活函數與係數矩陣一起實現了對坐標基的高次項(非線性部分)的組合。

已知的樣本和它在基上的坐標都是不變的,可以看作常數,需要去分析的還是係數矩陣A。

A的每一個元素都選一個固定精度內最近似的有理數,提取分母的最小公倍數之後獲得一個整數,把該整數分解為一系列素數的乘積,然後按照上一篇的內容根據素因子去分層分解,把係數矩陣A分解為它的每一部分的組合,從而降低維數,減少冗餘計算量。

這個思路,與斯特拉森算法的思路有點類似,都是通過組合來避免大矩陣的直接運算。

每層特徵的解釋,依然與上篇文章一樣。

網絡裡加入短接鏈路可以降低複雜度。

加入反饋鏈路應該也可以,畢竟同一個素因子有可能多次出現,反饋迴路就類似於遞歸乘法

這麼一個只能根據樣本採樣進行的複雜分解,自然是沒法給出解析結果的,但是壓縮映射的巴拿赫不動點定理,可以讓我們在範數正則化之後使用梯度下降算法求近似解。

相關焦點

  • 深度 谷歌官方指南:如何通過玩TensorFlow Playground來理解神經網絡
    而眾多神經元組成的深度神經網絡能提取更多特徵,解決更複雜更抽象的問題。(之前相關報導:業界 | 想揭開深度學習隱藏層的神秘面紗?試試Tensor Flow的神經網絡遊樂場)源碼:https://github.com/tensorflow/playground神經網絡和深度學習近來已經變成了網際網路上的熱詞,你可能也想一探究竟。
  • 訓練深度神經網絡失敗的罪魁禍首不是梯度消失,而是退化
    選自severelytheoretical機器之心編譯參與:蔣思源、劉曉坤作者通過深度線性網絡的例子對照證明了導致最終網絡性能變差的原因並不是梯度消失,而是權重矩陣的退化,導致模型的有效自由度減少,並指出該結論可以推廣到非線性網絡中。
  • 【乾貨】這8種神經網絡結構,你掌握了幾個?
    神經網絡是受生物神經網絡的啟發,特別是深度神經網絡目前取得了很好的效果。神經網絡本身就是一般函數的近似,這就是為什麼它們幾乎可以被應用到任何機器學習的問題中,來學習一個從輸入到輸出空間的複雜映射。 有三個原因能說服你學習深度神經網絡:理解人類大腦的工作機制:人腦是非常複雜且脆弱的,所以我們要用計算機模擬其工作機制。
  • 玩電子遊戲的神經網絡,告訴我們大腦是如何決策的
    加利福尼亞理工學院的一項新研究將玩Atari經典遊戲的人腦掃描圖像與玩相同遊戲的複雜人工智慧(AI)網絡進行了對比。研究人員將受過訓練的人工智慧的行為與人類的行為進行了比較,發現人工智慧中人工「神經元」的活動與人類大腦的活動十分相似。這意味著,人工智慧代理可能以類似於人類大腦的方式進行類似的決策,使其成為一個很好的模型,研究人類大腦如何將高維視覺輸入映射到複雜環境中的行動與決策中。
  • 光學精密工程 | 實例特徵深度鏈式學習全景分割網絡
    該網絡由基本的鏈式單元組合而成,根據單元結構對特徵信息處理方法的不同,鏈式單元分為特徵保持鏈和特徵增強鏈兩種。特徵保持鏈是鏈式網絡特徵提取過程的輸入級,保證輸入信息的完整性,而後將特徵傳遞到特徵增強鏈結構;特徵增強鏈通過自身的拓展來加深網絡深度,提升特徵提取能力。鏈式學習網絡由於具有良好的深度堆疊特性,可以獲取豐富的邊緣特徵信息,提高分割精度。
  • 深度圖像識別ISDA-深層網絡的隱式語義數據擴增方法
    我們的工作受到有趣的屬性的啟發,即深層網絡擅長於線性化特徵,從而使深層特徵空間中的某些方向對應於有意義的語義轉換,例如添加陰影或更改背景。因此,在特徵空間中沿許多語義方向翻譯訓練樣本可以有效地擴充數據集以提高泛化能力。為了有效且高效地實現這一思想,我們首先對每個類別的深度特徵的協方差矩陣進行在線估計,以獲取類別內語義的變化。
  • 何凱明的深度殘差網絡PPT是這樣的|ICML2016 tutorial
    深度網絡的革命(從淺層到越來越深的層級)在ILSVRC2010年左右還主要是淺層網絡,大部分需要手動調教特徵。我們明確地讓這些層適合殘差映射,而不是寄希望於每一個堆疊層直接適合一個所需的底層映射。形式上,把H(x)作為所需的基本映射,讓堆疊的非線性層適合另一個映射F(x):=H(x)-x。那麼原映射便轉化成:F(x)+x。我們假設優化剩餘的映射,比優化原來未引用的映射更容易。如果身份映射是最佳的,那麼將剩餘的映射推為零,就比用一堆非線性層來適應身份映射更容易。
  • 推薦系統之YouTube深度學習經典論文解讀
    那麼考慮到example age的現象,我們的推薦策略將example age作為一個特徵拼接到DNN的輸入向量。訓練時,時間窗口越靠後,該值越接近於0或者為一個小負數。加入了example age特徵後,模型效果和觀測到的實際數據更加逼近,參見下圖:樣本和上下文選擇1、收集一些非推薦的視頻觀看。
  • 表徵圖數據,絕不止圖神經網絡一種方法
    學習「圖表徵」背後的思想是:學習一類映射,這類映射將頂點、子圖或整體的圖嵌入到低維向量空間中的點上。然後,我們優化這些映射,使他們反映嵌入空間的幾何結構,學習到的嵌入可以被用作機器學習任務的向量化輸入。需要注意的是,本文討論的是一些流行的使用基於圖表徵的數據域,包括生物學數據、化學數據、網頁數據、文本數據、關係數據、社交媒體數據等。
  • 【剖面計劃】跳切空間——非線性空間及電影解讀和探討(第23期)
    跳切是一項時間概念下的產物,也是一門有關時間的藝術;跳切作為一種現象,渾然不覺地存在於現實世界中。
  • 創建新理論解釋運行原因,MIT研究者探索深度網絡的基礎理論問題
    深度網絡的深度是指計算的層數——計算層數越多,網絡越深。為了闡明自己的理論,三位研究者檢驗了深度學習的近似能力、動態優化以及樣本外性能。深度網絡的近似能力對於一般的範例如下:為了確定一個網絡的複雜性,使用函數 f (x ) 表示,理論上應當保證一個未知目標函數 g 的近似達到給定的準確率(> 0)。
  • 蒙特卡洛樹搜索在黑盒優化和神經網絡結構搜索中的應用
    每個孩子上對應搜索空間的樣本的個數就是 UCT 裡的 n,而這些樣本性能的平均值就是 UCT 裡的 v。當我們對搜索空間建立這樣的一個搜索樹,隨著樹深度的增加,在搜索空間找到好的區域也越來越精確。根據上述的定義,Latent Action 是把一個空間分成一個好的子空間,和一個壞的子空間。
  • 何愷明團隊神經結構搜索最新力作:設計隨機連接網絡,效果超ResNet
    這些觀察結果表明,網絡生成器的設計很重要。最後,我們的工作表明,從設計單個網絡到設計網絡生成器的新過渡是可能的,類似於如何從設計特徵過渡到設計學習特徵的網絡。我們建議設計新的網絡生成器來生成用於搜索的新模型家族,而不是主要關注使用固定生成器進行搜索。
  • 谷歌大腦發布神經網絡的「核磁共振」,並公開相關代碼
    雷鋒網曾經在下面這篇文章中詳細介紹過《谷歌的新CNN特徵可視化方法,構造出一個華麗繁複的新世界》但是去年的這項工作漏掉了一項重要的事情:這些神經元如何像網絡那樣連接起來的?繼去年發布神經網絡特徵可視化方法之後,今天 Google Brain 在神經網絡的可視化上又進了一步。
  • 適用於特殊類型自然語言分類的自適應特徵譜神經網絡
    為此,提出了一種新型的神經網絡結構——自適應特徵譜神經網絡。該算法有效減少了運算時間,可以自適應地選擇對分類最有用的特徵,形成最高效的特徵譜,得到的分類結果具有一定的可解釋性,而且由於其運行速度快、內存佔用小,因此非常適用於學習輔助軟體等方面。以此算法為基礎,開發了相應的個性化學習平臺。該算法使古詩文分類的準確率由93.84%提升到了99%。
  • 《超智能體》作者講述深層神經網絡設計理念(附PPT+視頻) | 雷鋒網...
    本期雷鋒網(公眾號:雷鋒網)硬創公開課邀請到《超智能體》一書作者於建國,分享的內容就是理解為何「深層」比「淺層」網絡要好,深度學習適用於什麼任務,並嘗試找出前饋神經網絡、循環神經網絡、卷及神經網絡、殘差網絡、預訓練、多任務學習、端到端學習、自動編碼器、遷移學習、distillation、dropout、regularization、batch-normalization等技術背後的共享
  • Google首席科學家韓國大學演講:大規模深度學習
    你不需要教工程師很多特徵點,模型的力量在於從觀察一些例子就能自動識別數據中的有用信息。深度神經網絡是什麼?神經網絡就是一些從數據提煉的複雜函數。從一個空間輸入在轉化為另一個空間的輸出。這裡的函數不是像平方,而是真正複雜的函數。當你給出一些原始像素,比如貓,而輸出就是對象的類別。
  • 沒有完整圖時,如何使用圖深度學習?需要了解流形學習2.0版本
    其主要代表方法有等距映射、局部線性嵌入等。那麼,具有流形學習 2.0 之稱的潛圖學習方法如何呢?自從神經網絡提出以來,其在人臉識別、語音識別等方面表現出卓越的性能。以前需要人工提取特徵的機器學習任務,現在通過端到端的方法就能解決。
  • 什麼是人工神經網絡(ANN)?
    通過對帶有注釋示例的網絡進行「培訓」來完成此校準。例如,如果您要訓練上述圖像分類器,則可以為其提供多張照片,每張照片均標有其相應的類別(人,汽車或動物)。當您為它提供越來越多的訓練示例時,神經網絡會逐漸調整其權重,以將每個輸入映射到正確的輸出。基本上,訓練期間發生的事情是網絡進行自我調整以從數據中收集特定模式。
  • 沒有完整圖時,如何使用圖深度學習?你需要了解流形學習2.0版本
    其主要代表方法有等距映射、局部線性嵌入等。那麼,具有流形學習 2.0 之稱的潛圖學習方法如何呢?自從神經網絡提出以來,其在人臉識別、語音識別等方面表現出卓越的性能。以前需要人工提取特徵的機器學習任務,現在通過端到端的方法就能解決。傳統的深度學習方法在提取歐氏空間數據(比如圖片是規則的正方形柵格,語音數據是一維序列)的特徵方面取得了巨大的成功。