《神經網絡和深度學習》系列文章十二:Hadamard積,s⊙t

2021-03-02 哈工大SCIR

出處： Michael Nielsen的《Neural Network and Deep Learning》，點擊末尾「閱讀原文」即可查看英文原文。

本節譯者：哈工大SCIR本科生 王宇軒

聲明：我們將在每周一，周四 定期連載該書的中文翻譯，如需轉載請聯繫wechat_editors@ir.hit.edu.cn，未經授權不得轉載。

使用神經網絡識別手寫數字

反向傳播算法是如何工作的

熱身：一個基於矩陣的快速計算神經網絡輸出的方法

關於損失函數的兩個假設

Hadamard積

反向傳播背後的四個基本等式

四個基本等式的證明（選讀）

反向傳播算法

什麼時候反向傳播算法高效

反向傳播算法再理解

改進神經網絡的學習方法

神經網絡能夠計算任意函數的視覺證明

為什麼深度神經網絡的訓練是困難的

深度學習

反向傳播算法是以常見線性代數操作為基礎——諸如向量加法，向量與矩陣乘法等運算。但其中一個操作相對不是那麼常用。具體來講，假設s和t是兩個有相同維數的向量。那麼我們用s⊙t來表示兩個向量的對應元素(elementwise)相乘。因此s⊙t的元素(s⊙t)j=sjtj。例如，


這種對應元素相乘有時被稱為Hadamard積（Hadamard product）或Schur積(Schur product)。我們將稱它為Hadamard積。優秀的矩陣庫通常會提供Hadamard積的快速實現，這在實現反向傳播時將會有用。

下一節我們將介紹「反向傳播背後的四個基本等式」，敬請關注！

「哈工大SCIR」公眾號

編輯部：郭江，李家琦，徐俊，李忠陽，俞霖霖

本期編輯：俞霖霖

長按下圖並點擊 「識別圖中二維碼」，即可關注哈爾濱工業大學社會計算與信息檢索研究中心微信公共號：」哈工大SCIR」 。點擊左下角「閱讀原文」，即可查看原文。


相關焦點

  • 《神經網絡和深度學習》系列文章四:神經網絡的結構
    本節譯者：哈工大SCIR碩士生 徐偉 (https://github.com/memeda)聲明：我們將在每周一，周四，周日定期連載該書的中文翻譯，如需轉載請聯繫wechat_editors@ir.hit.edu.cn，未經授權不得轉載。
  • 深度學習系列文章Part2:遷移學習和微調深度卷積神經網絡(附論文)
    ，是對遷移學習和微調深度卷積神經網絡的介紹。機器之心此前也已經編譯了該系列的第一部分，詳情點擊《五大主流深度學習框架比較分析：MXNET是最好選擇》。文中涉及到的論文可點擊閱讀原文下載。這是由幾個部分組成的博客系列，我將在此系列中聊一聊我對深度學習的經驗及認識。在第一部分，我討論了不同的有代表性的框架的優劣，以及我選擇 Theano（與 Lasagne）作為我的平臺的原因。
  • 《神經網絡和深度學習》系列文章三:sigmoid神經元
    本節譯者：哈工大SCIR碩士生 徐偉 (https://github.com/memeda)聲明：我們將在每周一，周四，周日定期連載該書的中文翻譯，如需轉載請聯繫wechat_editors@ir.hit.edu.cn，未經授權不得轉載。
  • 深度學習和深度神經網絡
    深度學習深度學習是眾多機器學習方法中的一種。主要是通過神經網絡來實現。「深度」是指神經網絡的層數。
  • 《神經網絡和深度學習》系列文章二十八:權重初始化
    聲明：我們將在每周四連載該書的中文翻譯。本節譯者：朱小虎 、張廣宇。轉載已獲得譯者授權，禁止二次轉載。使用神經網絡識別手寫數字反向傳播算法是如何工作的改進神經網絡的學習方法改進神經網絡的學習方式交叉熵損失函數用交叉熵解決手寫數字識別問題交叉熵意味著什麼？它從哪裡來？Softmax過擬合正則化為什么正則化能夠降低過擬合？
  • 神經網絡和深度學習簡史(全)
    讓我告訴你，說來話長——這不僅僅是一個有關神經網絡的故事，也不僅僅是一個有關一系列研究突破的故事，這些突破讓深度學習變得比「大型神經網絡」更加有趣，而是一個有關幾位不放棄的研究員如何熬過黑暗數十年，直至拯救神經網絡，實現深度學習夢想的故事。
  • 推薦| 九本不容錯過的深度學習和神經網絡書籍
    搭建你自己的神經網絡（Make Your Own Neural Network）價格：45 美元一步步讓你了解神經網絡的數學原理並用 Python 搭建自己的神經網絡。神經網絡是深度學習和人工智慧的關鍵元素。然而，幾乎很少有人真正了解神經網絡如何運作。本書從非常簡單的思想開始，讓你在趣味和從容不迫中，逐漸了解神經網絡的運作原理。2.
  • 零基礎入門深度學習 |最終篇:遞歸神經網絡
    現在救命稻草來了，《零基礎入門深度學習》系列文章旨在講幫助愛編程的你從零基礎達到入門級水平。零基礎意味著你不需要太多的數學知識，只要會寫程序就行了，沒錯，這是專門為程式設計師寫的文章。雖然文中會有很多公式你也許看不懂，但同時也會有更多的代碼，程式設計師的你一定能看懂的（我周圍是一群狂熱的Clean Code程式設計師，所以我寫的代碼也不會很差）。
  • 推薦 九本不容錯過的深度學習和神經網絡書籍
    搭建你自己的神經網絡（Make Your Own Neural Network）價格：45 美元一步步讓你了解神經網絡的數學原理並用 Python 搭建自己的神經網絡。神經網絡是深度學習和人工智慧的關鍵元素。然而，幾乎很少有人真正了解神經網絡如何運作。
  • 神經網絡與深度學習
    隱藏層使得感知機能夠發展為擬合萬物的神經網絡模型，而反向傳播算法則是整個神經網絡訓練的核心要義。要學習深度學習，恐怕不得不先溫習一下機器學習，搞清楚二者之間的關係。簡單來說，機器學習就是從歷史數據中探索和訓練出數據的普遍規律，將其歸納為相應的數學模型，並對未知的數據進行預測的過程。
  • 深度學習筆記4:深度神經網絡的正則化
    作者：魯偉 一個數據科學踐行者的學習日記。
  • 什麼是深度學習? - 45分鐘理解深度神經網絡和深度學習
    為了使學生們能夠更好、更快理解和使用深度神經網絡和深度學習，特撰寫此文。本文的目的是幫助非人工智慧領域的學生（主要是計算機圖形學領域的學生及筆者的學生）來搞懂深度學習（這裡指狹義的深度學習，即基於DNN的深度學習）的基本概念和方法。筆者嘗試用通俗的語言，從函數逼近論的角度來闡釋深度神經網絡的本質。
  • 人工智慧-Andrew Ng版|神經網絡和深度學習|深度學習概述
    專項課程的第一門課是《Neural Networks and Deep Learning 神經網絡與深度學習》。1.1 Welcome這個視頻主要講了什麼是深度學習，深度學習能做些什麼事情。吳恩達老師的從深度學習改變了傳統網際網路業務開始講述，例舉如網絡搜索和廣告。
  • 火爆網絡的《神經網絡與深度學習》,有人把它翻譯成了中文版!
    ，就是《Neural Network and Deep Learning》，中文譯為《神經網絡與深度學習》。這是一本解釋人工神經網絡和深度學習背後核心思想的免費在線書籍。書籍在線地址：http://neuralnetworksanddeeplearning.com/about.html該書的作者是來自 Y Combinator Research 的研究員 Michael Nielsen，他也是⼀位量⼦物理學家、科學作家、計算機編程研究⼈員。
  • ICML神經網絡和深度學習日程表(周二)
    神經網絡和深度學習大會主席：Hal Daume III地點： Ballroom 1+2+Juliard10：30– 強類型遞歸神經網絡 （Strongly-Typed Recurrent （Auxiliary Deep Generative Models）             Lars Maaløe、Ole Winther 丹麥技術大學, Casper Kaae Sønderby 、Søren Kaae Sønderby 哥本哈根大學神經網絡和深度學習I會議主席: Nicolas
  • 深度神經網絡中的對抗樣本與學習7篇文章
    「這些結果表明，DNN傾向於學習低級和中級特徵，而不是物體的全局結構」。作者嘗試通過將培訓機制擴展到包含這些負面例子，使DNN對這些對抗圖像更加強大，但總是可能產生新的對抗樣本，仍會愚弄所產生的網絡。用於產生對抗圖像的先前技術依賴於對完整訓練集的訪問和網絡中的隱藏權重。這篇文章表明， 所有你需要的就是將輸入傳遞給分類器，學習後預測類別。攻擊通過使用目標DNN作為oracle來訓練替代模型。目標輸入是合成生成，傳遞給oracle（受攻擊的系統），輸出標籤成為替代模型的訓練標籤。可以使用一般的白盒技術創建成功的對抗圖像。
  • 通俗理解神經網絡與深度學習
    不管是 DeepMind，還是 OpenAI，他們在訓練人工智慧的時候都用到了深度學習，也就是有很多層的人工神經網絡。想必大部分讀者對「神經網絡」的最初印象都來自於大腦神經，顧名思義，神經網絡必然和腦神經有著千絲萬縷的聯繫。那麼神經網絡為什麼會這麼火呢？我們先來看看神經網絡的發家史。1.
  • 走近深度學習:神經網絡工作原理解析
    神經網絡是一種模仿生物神經網絡的結構和功能的數學模型或計算模型，由大量的人工神經元聯結進行計算。在深度學習時代，基於神經網絡的目標檢測算法也大放異彩。為了能夠幫助大家更好的了解目標檢測領域，猩算法開設「目標檢測」系列文章，精選乾貨文章，持續分享。
  • 深度學習筆記8:利用Tensorflow搭建神經網絡
  • LSTM、GRU與神經圖靈機:詳解深度學習最熱門的循環神經網絡
    為神經網絡添加狀態的好處是它們將能在序列預測問題中明確地學習和利用背景信息（context），這類問題包括帶有順序或時間組件的問題。在這篇文章中，你將踏上了解用於深度學習的循環神經網絡的旅程。在讀完這篇文章後，你將了解：用於深度學習的頂級循環神經網絡的工作方式，其中包括 LSTM、GRU 和 NTM。