人工智慧之受限玻爾茲曼機(RBM)

2020-12-06 極客網FromGeek

前言:人工智慧機器學習有關算法內容,請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。今天我們重點探討一下受限玻爾茲曼機(RBM)算法。

受限玻爾茲曼機RBM在深度學習領域一直有重要應用,它是一種可用隨機神經網絡來解釋的概率圖模型,由Smolensky在1986年在玻爾茲曼機BM的基礎上提出, 是玻爾茲曼機BM的一種特殊拓撲結構

玻爾茲曼機BM原理起源於統計物理學,是一種基於能量函數的建模方法,能夠描述變量之間的高階相互作用,玻爾茲曼機BM的學習算法較複雜,但所建模型和學習算法有比較完備的物理解釋和嚴格的數理統計理論作基礎。

RBM概念:

以Hinton和Ackley兩位學者為代表的研究人員從不同領域以不同動機同時提出BM學習機。BM是一種隨機遞歸神經網絡,可以看做是一種隨機生成的Hopfield網絡(請參見公眾號之人工智慧Hopfield網絡)。BM是一種對稱耦合的隨機反饋型二值單元神經網絡,由可見層多個隱層組成,網絡節點分為可見單元(visible unit)和隱單元(hidden unit),用可見單元和隱單元來表達隨機網絡與隨機環境的學習模型,通過權值表達單元之間的相關性

Smolensky提出的RBM由1個可見神經元層1個隱神經元層組成,由於隱層神經元之間沒有相互連接並且隱層神經元獨立於給定的訓練樣本,這使直接計算依賴數據的期望值變得容易,可見層神經元之間也沒有相互連接,通過從訓練樣本得到的隱層神經元狀態上執行馬爾可夫鏈抽樣過程,來估計獨立於數據的期望值,並行交替更新所有可見層神經元和隱層神經元的值。

RBM引入

受限玻爾茲曼機RBM是對玻爾茲曼機進行簡化,使玻爾茲曼機BM更容易使用。玻爾茲曼機BM的隱元/顯元和隱元/隱元之間都是全連接的,增加了計算量計算難度使用困難。而RBM則是對BM進行一些限制,使隱元之間沒有連接,使得計算量大大減小,使用起來非常方便。

RBM原理

RBM參數如下:

1) 可視節點與隱藏節點直接的權重矩陣Wij;

2) 可視節點的偏移量b = (b1,b2,...,bn);

3) 隱藏節點的偏移量c = (c1,c2,...,cm);

這幾個參數決定了RBM網絡將1個n維的樣本編碼成1個m維的樣本。假設RBM的隱元和顯元的狀態取1或0,則它的能量函數為:

根據吉布斯(Gibbs)分布:p(v,h)=(1/Z)*e[?E(v,h)]和上面的能量函數建立模型的聯合概率分布。

可視節點狀態只受m個隱藏節點影響,同理,每個隱藏節點也是只受n個可視節點影響。即:

其中,Z為歸一化因子或配分函數,表示對可見層和隱藏層節點集合的所有可能狀態的(能量指數)求和。Z計算複雜度非常高,無法直接計算,需要一些數學推導來簡化計算量。

同理得到p(h)。

根據貝葉斯原理,知道聯合概率和邊緣概率,求得條件概率為:

這裡?是sigmoid函數。條件概率是根據隱元或顯元的狀態、權重W、偏差b或c來確定顯元或隱元的狀態。

12下一頁>

(免責聲明:本網站內容主要來自原創、合作媒體供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,並對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或連結內容可能涉嫌侵犯其智慧財產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,並提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件後,將會依法儘快聯繫相關文章源頭核實,溝通刪除相關內容或斷開相關連結。 )

相關焦點

  • 一種基於能量模型的神經網絡架構受限玻爾茲曼機
    一種基於能量模型的神經網絡架構受限玻爾茲曼機 李倩 發表於 2018-07-26 10:09:24 受限玻爾茲曼機是一種基於能量模型的神經網絡架構,雖然不像通常的卷積神經網絡一樣被人熟知
  • 一起讀懂傳說中的經典:受限玻爾茲曼機
    儘管性能沒有流行的生成模型好,但受限玻爾茲曼機還是很多讀者都希望了解的內容。這不僅是因為深度學習的復興很大程度上是以它為前鋒,同時它那種逐層訓練與重構的思想也非常有意思。本文介紹了什麼是受限玻爾茲曼機,以及它的基本原理,並以非常簡單的語言描述了它的訓練過程。雖然本文不能給出具體的實現,但這些基本概念還是很有意思的。
  • 人工智慧之Apriori算法
    人工智慧機器學習有關算法內容,請參見公眾號「科技優化生活」之前相關文章。人工智慧之機器學習主要有三大類:1)分類;2)回歸;3)聚類。馬爾科夫模型Hopfield神經網絡回歸模型K鄰近算法卷積神經網絡受限玻爾茲曼機
  • 兵器工業江麓集團國內首臺「深井受限空間環境與安全人工智慧仿真...
    近日,國內首臺自主研發、製造的「深井受限空間環境與安全人工智慧仿真實驗系統」在中國兵器工業集團江麓機電集團冶金公司成功下線並實現銷售,該系統多項技術填補國內空白。成為公司自主研發、創新模式,軍民結合又一成功的範例,為公司民用產品又添新丁,未來市場潛力巨大,將成為該公司今後經濟增長一個新的亮點。
  • 人的思想是受限的
    人是地球上智商最高的動物,但是在不就的將來,人類將被人工智慧所代替。但代替不是完完全全的整個代替,而是思想的代替。無可否認,我們比目前電腦聰明,人類製造了電腦。但是我們學習的能力,和運用大腦的能力是不如人工智慧的,他們反映,輸入後的知識而反饋出來的速度,是人類跟不上的。但是目前來說,它們的思想技術是受限的。因為人類的思想也是受限的。
  • RBM的Learning問題
    1.受限波爾茨曼機的在受限波爾茨曼機
  • 人工智慧輕鬆學 | AI算法連載04:數學基礎之蒙特卡洛方法與MCMC採樣
    一、前言在人工智慧AI如火如荼的大潮下,越來越多的工程師們意識到算法是AI的核心。而面對落地的應用,不懂算法的AI產品經理將是空談,不僅無法與工程師溝通,更無法深刻理解應用的性能與方式。
  • 專項HSE培訓之受限空間進入培訓
    受限空間引言-受限空間事故統計(USA)與受限空間事故有關的員工中有一、什麼是受限空間?禁止任何人進入, 直到受限空間的環境恢復到安全水平.張貼受限空間準入許可證 12. 進入受限空間 13.>當進入者需要幫助才能逃出受限空間時, 尋求營救和醫務幫助.
  • 專訪人工智慧奠基人:如何看待 AI 不得不面對的這些問題
    1956 年,達特茅斯人工智慧夏季研究計劃提出「人工智慧」的概念,標誌著這一學科的正式誕生。近年來,由於深度學習和神經網絡技術的廣泛應用,人工智慧步入黃金時代,對人類社會的生活和生產方式都產生了深刻的影響。
  • 人工智慧之說文解字
    人工智慧說起人工智慧,歷史源遠流長,從上古時代的女媧造人,再到希臘神話中的皮格馬林翁無一不體現人類對人工智慧的夢想與渴望。也許史前文明真的存在,但是已經無從考證,唯一可以知道的是現代人工智慧開始於1956年達特矛斯會議,會議第一次使用了Artificial Intelligence 即AI(人工智慧)這個詞。人工智慧經過過近一百的發展,取得了突飛猛進的成果。尤其是計算機的出現和軟體的流行更是讓人工智慧變得真實可行。
  • 如何看待和學習人工智慧?這是五位哈佛博士生的AMA
    問耕 發自 SMB量子位 出品 | 公眾號 QbitAI最近,五位哈佛的在讀博士生集體來到著名社區reddit,展開一場圍繞人工智慧和認知科學的AMA(Ask Me Anything)。提問:我們需要擔心人工智慧和自動化發展速度過快麼?回答:我們應該為生活在充滿AI和自動化的世界做好準備。許多工作在不久的將來會變得過時。既然我們知道這天一定會到來,整個社會就應該制定有效的政策。伊隆·馬斯克的「AI末世論」遭到很多人反對,特別是AI從業者。
  • 受限空間作業的風險與控制措施
    一、受限空間作業定義:包含以下任意一個特徵的作業空間:1、能夠進入短時間工作,但不能長時間作業2、進出口受到限制,難於逃生二、受限空間的風險辨識與控制受限空間是工作場所中最惡劣的工作環境,同時受限空間也存在於日常生活中,並導致經常性群死群傷事件,存在於受限空間作業危害通常有:1、空間狹小不易逃生受限空間的先決條件即是人員能夠進入但進出受到限制。