深度學習必懂的13種概率分布

2020-12-13 雷鋒網

作為機器學習從業者，你需要知道概率分布相關的知識。這裡有一份最常見的基本概率分布教程，大多數和使用 python 庫進行深度學習有關。

概率分布概述

共軛意味著它有共軛分布的關係。在貝葉斯概率論中，如果後驗分布 p（θx）與先驗概率分布 p（θ）在同一概率分布族中，則先驗和後驗稱為共軛分布，先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這裡。

多分類表示隨機方差大於 2。n 次意味著我們也考慮了先驗概率 p（x）。為了進一步了解概率，我建議閱讀 [pattern recognition and machine learning，Bishop 2006]。分布概率與特徵

1.均勻分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均勻分布在 [a，b] 上具有相同的概率值，是簡單概率分布。

2.伯努利分布（離散）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

先驗概率 p（x）不考慮伯努利分布。因此，如果我們對最大似然進行優化，那麼我們很容易被過度擬合。利用二元交叉熵對二項分類進行分類。它的形式與伯努利分布的負對數相同。

3.二項分布（離散）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py

參數為 n 和 p 的二項分布是一系列 n 個獨立實驗中成功次數的離散概率分布。二項式分布是指通過指定要提前挑選的數量而考慮先驗概率的分布。

4.多伯努利分布，分類分布（離散）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

多伯努利稱為分類分布。交叉熵和採取負對數的多伯努利分布具有相同的形式。

5.多項式分布（離散）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

多項式分布與分類分布的關係與伯努爾分布與二項分布的關係相同。

6.β分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

β分布與二項分布和伯努利分布共軛。利用共軛，利用已知的先驗分布可以更容易地得到後驗分布。當β分布滿足特殊情況（α=1，β=1）時，均勻分布是相同的。

7.Dirichlet 分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py

dirichlet 分布與多項式分布是共軛的。如果 k=2，則為β分布。

8.伽馬分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

如果 gamma（a，1）/gamma（a，1）+gamma（b，1）與 beta（a，b）相同，則 gamma 分布為β分布。指數分布和卡方分布是伽馬分布的特例。

9.指數分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

指數分布是 α 為 1 時 γ 分布的特例。

10.高斯分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

高斯分布是一種非常常見的連續概率分布。

11.正態分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

正態分布為標準高斯分布，平均值為 0，標準差為 1。

12.卡方分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

k 自由度的卡方分布是 k 個獨立標準正態隨機變量的平方和的分布。卡方分布是 β 分布的特例

13.t 分布（連續）

代碼：https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

t 分布是對稱的鐘形分布，與正態分布類似，但尾部較重，這意味著它更容易產生遠低於平均值的值。

via：https://github.com/graykode/distribution-is-all-you-need

雷鋒網雷鋒網雷鋒網

相關焦點

  • 深度學習必須掌握的 13 種概率分布
    作為機器學習從業者，你需要知道概率分布相關的知識。這裡有一份最常見的基本概率分布教程，大多數和使用 python 庫進行深度學習有關。
  • 深度學習需要掌握的13個概率分布
    ，是簡單概率分布。/master/bernoulli.py先驗概率 p（x）不考慮伯努利分布。/master/binomial.py參數為 n 和 p 的二項分布是一系列 n 個獨立實驗中成功次數的離散概率分布。
  • 11種概率分布,你了解幾個?
    這是昨天推送的 從概率統計到深度學習，四大技術路線圖譜，都在這裡！文章中的第一大技術路線圖譜如下所示，圖中左側正是本文要總結的所有常見概率分布。假設試驗只有兩種結果：成功的概率為 θ，失敗的概率為 1-θ. 則二項分布描述了：獨立重複地進行 n 次試驗中，成功 x 次的概率。概率密度函數：
  • 概率與概率分布
    到店的顧客有消費 與不消費兩種，因此為互斥事件，且概率均為50%。即，用戶到店消費概率為0.5，只有消費與不消費兩種決定，且相互獨立。到店3人有幾種可能？共有4種可能：無人付費12.5%1人付費37.5%2人付費37.5%3人付費12.5%此類問題被稱為二項式概率分布，對於很大量的事件，最終產生某個特定時間的概率是多少
  • 《概率深度學習:使用Python,Keras和TensorFlow概率》附下載
    Probabilistic Deep Learning: With Python, Keras and TensorFlow Probability作者: Oliver Duerr出版日期: 2020ISBN: 9781617296079頁數: 252語言: English格式: PDF大小: 60 Mb概率性深度學習
  • 深度學習到底是啥,看完下文你就懂了
    深度學習概述　　在 2006 年之前，訓練深度監督前饋神經網絡總是失敗的，其主要原因都是導致過度擬合，即訓練錯誤減少，而驗證錯誤增加。深度學習方法旨在學習特徵層次結構，將更低層次的特徵組合成更高層次的抽象。　　具有大量參數的深度神經網絡是非常強大的機器學習系統。但是，過度擬合在深度網絡中是一個嚴重的問題。過度擬合是指當驗證錯誤開始增加而訓練錯誤下降時。 Dropout 是解決這個問題的正則化技術之一，這將在後面討論。　　今天，深度學習技術取得成功的最重要因素之一是計算能力的提高。
  • MindSpore深度概率推斷算法與概率模型
    上篇文章對MindSpore深度概率學習進行了背景和總體特性上的介紹，連結戳這裡:https://zhuanlan.zhihu.com/p/234931176
  • TSP問題從DP算法到深度學習4:概率最大狀態序列算法
    本篇是TSP問題從DP算法到深度學習系列第四篇，這一篇我們會詳細舉例並比較在 seq-to-seq 或者Markov Chain中的一些常見的搜索概率最大的狀態序列的算法。這些方法在深度學習的seq-to-seq 中被用作decoding。在第五篇中，我們使用強化學習時也會使用了本篇中講到的方法。
  • Rainbow:整合DQN六種改進的深度強化學習方法!
    但是，將深度神經網絡和強化學習思想進行結合，難免會出現一定的問題，比如：1、DL需要大量帶標籤的樣本進行監督學習；RL只有reward返回值；2、DL的樣本獨立；RL前後state狀態相關；3、DL目標分布固定；RL的分布一直變化，比如你玩一個遊戲，一個關卡和下一個關卡的狀態分布是不同的，所以訓練好了前一個關卡，下一個關卡又要重新訓練；4、過往的研究表明
  • 貝葉斯深度學習研究進展
    10年前就有學者研究如何用貝葉斯方法隨機生成神經網絡的結構[13]。具體地，該方法通過定義一個非參數化貝葉斯先驗，刻畫深度神經網絡的結構（包括神經網絡的層數、每一層神經元的個數、相鄰層神經元之間的連接方式，甚至每個神經元的響應類型等），給定有限的訓練數據，通過貝葉斯公式推斷出後驗分布，該後驗分布描述了適合訓練數據的各種可能的神經網絡結構。
  • 每個數據科學家都應該知道的5種概率分布
    現在您已經知道了概率分布是什麼，讓我們了解一些最常見的分布！伯努利概率分布具有伯努利分布的隨機變量是最簡單的。它代表一個二進位事件：「這件事發生」 VS「這種情況沒有發生」，並採取了值 p作為其唯一的參數，它代表的概率是會發生的事件。
  • 深度學習與統計力學(I) :深度學習中的基礎理論問題
    這些見解產生了深度學習與各種物理和數學主題之間的聯繫，包括隨機曲面、自旋玻璃、幹擾、動態相變、混沌、黎曼幾何、隨機矩陣理論、自由概率和非平衡統計力學。事實上，統計力學和機器學習領域長期以來都有著豐富的強耦合相互作用的歷史，而統計力學和深度學習交叉點的最新進展表明，這些相互作用只會加深未來的發展。
  • 貝葉斯、概率分布與機器學習
    本文的一個大概的思路：先講一講我概括出的一個基本的貝葉斯學習框架，然後再舉幾個簡單的例子說明這些框架，最後再舉出一個複雜一點的例子，也都是以貝葉斯機器學習框架中的模塊來講解二.我們往往不用知道P(h|D)的具體的值，而是知道例如P(h1|D)，P(h2|D)值的大小關係就是了。這個公式就是機器學習中的貝葉斯公 式，一般來說我們稱P(h|D)為模型的後驗概率，就是從數據來得到假設的概率，P(h)稱為先驗概率，就是假設空間裡面的概率，P(D|h)是模型的 likelihood概率。
  • 學計量經濟學,你應該知道的六種概率分布
    雖然概率為我們提供了數學上的計算，而分布卻可以幫助我們把內部發生的事情可視化。在本文中，我將介紹一些重要的概率分布，並會清晰全面地對它們進行解釋。注意：本文假設你已經具有了概率方面的基本知識。如果沒有，可以參考這篇有關概率基礎的文章。在開始詳細講述分布之前，先來看看我們會遇到哪些種類的數據。數據可以分為離散的和連續的。
  • 數據挖掘學習小組之(概率分布)
    連續變量在一定區間內可以任意取值的變量叫連續變量，其數值是連續不斷的，相鄰兩個數值可作無限分割，即可取無限個數值期望值在概率論和統計學中，期望值（或數學期望、或均值，亦簡稱期望，物理學中稱為期待值）是指在一個離散性隨機變量試驗中每次可能結果的概率乘以其結果的總和離散變量概率分布二項分布二項分布是由伯努利提出的概念，指的是重複n次獨立的伯努利試驗。
  • 通俗理解:概率分布函數、概率密度函數
    概率分布函數和概率密度函數之前，我們先來看看概率函數和概率分布是咋回事。為什麼我們花這麼大的力氣去研究這個概念。因為它實在太重要了，為什麼呢？在這裡，直接引用陳希孺老師在他所著的《概率論與數理統計》這本書中說的：研究一個隨機變量，不只是要看它能取哪些值，更重要的是它取各種值的概率如何！這句是本文的核心內容，本文的所有概念，包括概率密度，概率分布，概率函數，都是在描述概率！
  • 從貝葉斯定理到概率分布:綜述概率論基本定義
    第一部分將會介紹概率論基礎知識。概率我們已經擁有十分強大的數學工具了，為什麼我們還需要學習概率論？我們用微積分來處理變化無限小的函數，並計算它們的變化。我們使用代數來解方程，我們還有其他幾十個數學領域來幫助我們解決幾乎任何一種可以想到的難題。難點在於我們都生活在一個混亂的世界中，多數情況下無法準確地測量事物。
  • 深度學習、資訊理論與統計學
    當前人工智慧的核心技術是深度學習。而深度學習到底為什麼能在現實世界中起作用？為什麼給它一堆數據它就能從中學到「知識」？它背後有沒有堅實的數學基礎甚至哲學基礎？這些問題我都很想知道答案。因此，我最近花了不少精力來研究，發現這項技術原來與資訊理論、概率和統計學，都有著密不可分的關係，很多看似散亂的概念其實相互之間都有關聯。
  • scipy 常見統計檢驗與概率分布
    常用函數cdf：隨機變量的累積分布函數，是概率密度函數的積分，即概率值pfit：對一組隨機取樣進行擬合，找出最適合取樣數據的概率密度函數的係數二項分布伯努利試驗（Bernoulli experiment）是在同樣的條件下重複地、相互獨立地進行的一種隨機試驗，其特點是該隨機試驗只有兩種可能結果：發生或者不發生。
  • | 小白深度學習入門
    大家在學習深度學習的過程中，都會碰到cross-entropy這個詞，中文叫「交叉熵」，多麼高大上的名詞！