深度學習需要掌握的13個概率分布

2021-01-14 機器學習研究組訂閱號

1.均勻分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均勻分布在 [a，b] 上具有相同的概率值，是簡單概率分布。

2.伯努利分布（離散）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

先驗概率 p（x）不考慮伯努利分布。因此，如果我們對最大似然進行優化，那麼我們很容易被過度擬合。利用二元交叉熵對二項分類進行分類。它的形式與伯努利分布的負對數相同。

3.二項分布（離散）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py

參數為 n 和 p 的二項分布是一系列 n 個獨立實驗中成功次數的離散概率分布。二項式分布是指通過指定要提前挑選的數量而考慮先驗概率的分布。

4.多伯努利分布/分類分布（離散）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

5.多項式分布（離散）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

多項式分布與分類分布的關係與伯努爾分布與二項分布的關係相同。

6.β分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

利用共軛，利用已知的先驗分布可以更容易地得到後驗分布。當β分布滿足特殊情況（α=1，β=1）時，均勻分布是相同的。

7.Dirichlet 分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py

8.伽馬分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

如果 gamma（a，1）/gamma（a，1）+gamma（b，1）與 beta（a，b）相同，則 gamma 分布為β分布。

9.指數分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

指數分布是 α 為 1 時 γ 分布的特例。

10.高斯分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

高斯分布是一種非常常見的連續概率分布。

11.正態分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

正態分布為標準高斯分布，平均值為0，標準差為1。

12.卡方分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

k 自由度的卡方分布是 k 個獨立標準正態隨機變量的平方和的分布。

13.t 分布（連續）代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

t分布是對稱的鐘形分布，與正態分布類似，但尾部較重，這意味著它更容易產生遠低於平均值的值。

相關焦點

  • 深度學習必懂的13種概率分布
    作為機器學習從業者，你需要知道概率分布相關的知識。這裡有一份最常見的基本概率分布教程，大多數和使用 python 庫進行深度學習有關。概率分布概述共軛意味著它有共軛分布的關係。在貝葉斯概率論中，如果後驗分布 p（θx）與先驗概率分布 p（θ）在同一概率分布族中，則先驗和後驗稱為共軛分布，先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這裡。
  • 2021考研數學備考指導:概率要掌握這30個題型
    2021考研數學備考指導:概率要掌握這30個題型 2021考研已經進入緊張的備考強化階段，考生務必要重視，打好基礎，為將來做準備！
  • 深度學習 vs. 概率圖模型 vs. 邏輯學
    【編者按】在上個月發表博客文章《深度學習 vs. 機器學習 vs. 模式識別》之後，CMU博士、MIT博士後及vision.ai聯合創始人Tomasz Malisiewicz這一次帶領我們回顧50年來人工智慧領域三大範式（邏輯學、概率方法和深度學習）的演變歷程。通過本文我們能夠更深入地理解人工智慧和深度學習的現狀與未來。
  • PyTorch深度概率推斷工具Brancher,掌握ML和Python基礎即可上手
    機器之心報導參與：一鳴、張倩近日，來自荷蘭拉德堡德大學（Radboud University）團隊的開發者在 reddit 上發布了一個 PyTorch 深度概率推斷工具——Brancher，旨在使貝葉斯統計和深度學習之間的集成變得簡單而直觀。
  • 考研數學一概率論與數理統計學習計劃
    概率論與數理統計        第一章 隨機事件和概率         我們應該了解樣本空間的概念，理解隨機事件的概念，並要熟練掌握隨機事件的關係和運算法則，理解概率、條件概率的概念，掌握概率的基本性質。
  • 深度學習與統計力學(I) :深度學習中的基礎理論問題
    這些見解產生了深度學習與各種物理和數學主題之間的聯繫，包括隨機曲面、自旋玻璃、幹擾、動態相變、混沌、黎曼幾何、隨機矩陣理論、自由概率和非平衡統計力學。事實上，統計力學和機器學習領域長期以來都有著豐富的強耦合相互作用的歷史，而統計力學和深度學習交叉點的最新進展表明，這些相互作用只會加深未來的發展。
  • 推薦|數據分析師必須掌握的概率分布
    假如生了 n 個孩子，其中男孩為 x 個，女孩為（n - x）的概率。重點：二項式分布公式如果我們假定生了 n 個孩子，其中男孩是4個（固定值），那麼隨著n的變化，二項式分布的概率圖會怎麼變呢？二項式分布圖如上圖所示，如果生了4孩子且全是男孩，概率0.6的四次方 = 0.1296。當生了6個孩子的時候，有四個是男孩的概率達到了0.311。
  • 名師指導 數一概率論與數理統計學習計劃
    加法公式、乘法公式、減法公式、全概率公式、貝葉斯公式是概率的五個基本公式，應用它們再結合時間運算和概率的基本性質，可以解決不少有關隨機事件概率的計算問題。學習時間 複習知識點與對應習題 大綱要求 2 小時 樣本空間與隨機事件的概念，事件的關係與運算，文氏圖，事件運算法則和常用結論，概率的概念，概率的基本性質（ 6 個性質），例（ 4 頁） 1-3 ，習題（ 32 頁）， 1 ， 2 1 、了解樣本空間（基本事件空間）的概念，理解隨機事件的概念，掌握事件的關係及運算。
  • 關於深度學習你必須知道的幾個信息理論概念
    資訊理論可以看作是微積分、概率論和統計學這些深度學習基本組成部分的複雜融合。相反，他根據概率分布和"不確定性"來量化信息。香農還引入了「bit」這個詞，這一革命性的想法不僅奠定了資訊理論的基礎，而且為人工智慧等領域的進步開闢了新的途徑。下面將討論深度學習和數據科學中四種流行的，廣泛使用的和必須已知的資訊理論概念：熵也可以稱為信息熵或香農熵。
  • 逐章細化 制定數三概率論與數理統計學習計劃
    加法公式、乘法公式、減法公式、全概率公式、貝葉斯公式是概率的五個基本公式，應用它們再結合時間運算和概率的基本性質，可以解決不少有關隨機事件概率的計算問題。 學習時間 複習知識點與對應習題 大綱要求 2 小時 樣本空間與隨機事件的概念，事件的關係與運算，文氏圖，事件運算法則和常用結論，概率的概念，概率的基本性質（ 6 個性質），例（ 4 頁） 1-3 ，習題（ 32 頁）， 1 ， 2 1 、了解樣本空間（基本事件空間）的概念，理解隨機事件的概念，掌握事件的關係及運算
  • 2016考研數學:概率論之常見隨機變量分布總結
    原標題：2016考研數學：概率論之常見隨機變量分布總結 提到考研數學，很多同學都能想到高數和線代。其實概率論與數理統計也是數學一和數學三中的考查重點，而且往往是難點。同學們在學習概率的時候覺得有難度。
  • 常用概率分布——二項分布分布
    下一篇我們介紹poisson分布。二項分布相對比較好理解：就是在相同的試驗條件下，每次試驗只會隨機出現兩種試驗結果中的任意一個（2種！2種！），因此又稱為Bernoulli試驗（伯努利試驗）。為什麼叫二項分布呢？
  • 為了徹底理解深度學習,我們到底需要掌握哪些數學知識呢?答案在本文
    點擊上方 「CSDN」 關注我們IT網際網路行業有個有趣現象，玩資本的人、玩產品的人、玩技術的人都能很好的在這個行業找到自己的位置並取得成功，而且可以只懂其中一樣，不需要懂其餘兩樣。玩技術的人是裡面最難做的，也是三者收益最低的，永遠都要不停學習，不停把畫餅變成煎餅。
  • 深度學習入門:淺析卷積神經網絡
    Softmax函數，或稱歸一化指數函數，是邏輯函數的一種推廣，它能將一個含任意實數的K維向量「壓縮」到另一個K維實向量中，使得每一個元素的範圍都在(0,1)之間，並且所有元素的和為1，函數形式為：多分類模型的輸出結果為該樣本屬於K個類別的概率，從這K個概率中我們選擇最優的概率對應的類別（通常選概率最大的類別），作為該樣本的預測類別。
  • 從貝葉斯定理到概率分布:綜述概率論基本定義
    第一部分將會介紹概率論基礎知識。概率我們已經擁有十分強大的數學工具了，為什麼我們還需要學習概率論？我們用微積分來處理變化無限小的函數，並計算它們的變化。我們使用代數來解方程，我們還有其他幾十個數學領域來幫助我們解決幾乎任何一種可以想到的難題。難點在於我們都生活在一個混亂的世界中，多數情況下無法準確地測量事物。
  • 深度| 理解深度學習中的卷積
    以下是正文：卷積現在可能是深度學習中最重要的概念。正是靠著卷積和卷積神經網絡，深度學習才超越了幾乎其他所有的機器學習手段。但卷積為什麼如此強大？它的原理是什麼？在這篇博客中我將講解卷積及相關概念，幫助你徹底地理解它。網絡上已經有不少博客講解卷積和深度學習中的卷積，但我發現它們都一上來就加入了太多不必要的數學細節，艱深晦澀，不利於理解主旨。
  • 《好好學習》:8招讓你提高臨界知識與認知深度,做個會學習的人
    學習是一個人精進最低的成本，但是做到知識吸收其實過程不容易，不是每個人都可以做到「學有所成」。怎麼讓學習更高效？成甲老師的《好好學習：個人知識管理精進指南》這本書，給大家分析了為什麼學不進，是因為認知效率和認知深度未達到，讓你無法掌握臨界知識。今天我就來和大家分享這本書的內容。認知深度和臨界知識什麼是認知深度？
  • 來學習一下概率論基本知識,它能讓防止你的模型過擬合
    這位小哥提到的指數分布，則在神經網絡調參中有著直接的應用。下面，就讓我們一起來跟他學習一下吧。概率論中的基本概念我們先從擲硬幣開始談起。隨機變量可以是離散的，也可以是連續的。比如拋硬幣的結果就是一個離散的隨機變量，而降雨量就是一個連續的隨機變量。
  • 做實驗需要掌握哪些統計學知識?
    了解統計學的原理之後，你不一定能夠通過工具實現，那麼你需要去對應的找網上找相關的實現方法，也可以看書。先推薦一本非常簡單的：吳喜之-《統計學·從數據到結論》。 另外，如何精力允許，請掌握一些主流算法的原理，比如線性回歸、邏輯回歸、決策樹、神經網絡、關聯分析、聚類、協同過濾、隨機森林。再深入一點，還可以掌握文本分析、深度學習、圖像識別等相關的算法。
  • 物理學對於深度學習可解釋性的啟發
    語音識別、自動駕駛、機器翻譯和視覺對象識別等領域的深度學習已經系統地改進了現有技術的狀態。然而，使深度神經網絡（DNN）如此強大的原因只是啟發式理解 ，即我們只從經驗中知道我們可以通過使用大型數據集並遵循特定的訓練來獲得優異的結果。