統計學中的假設檢驗

2020-12-12 CDA數據分析師

作者 | CDA數據分析師

假設(hypothesis),又稱統計假設,是對總體參數的具體數值所作的陳述。假設檢驗(hypothesis test) 是先對總體參數提出某種假設,然後利用樣本信息判斷假設是否成立的過程。

假設檢驗的特點就是採用邏輯上的反證法和依據統計上 的小概率原理。小概率事件在單獨一次的試驗中基本上不會發生,可以不予考慮。在假設檢驗中,我們做出判斷時所依據的邏輯是:如果在原假設正確的前提下,檢驗統計量的樣本觀測值的出現屬於小概率事件,那麼可以認為原假設不可信,從而否定它,轉而接受備擇假設。

假設檢驗步驟

一個完整的假設檢驗過程,包括以下幾個步驟:

(1)提出假設;

(2)構造適當的檢驗統計量,並根據樣本計算統計量的具體數值;

(3)規定顯著性水平,建立檢驗規則;

(4)做出判斷。

假設檢驗的類型

(1)對陳述正確性的檢驗

在這種情況下,原假設通常是基於假定的陳述是正確的。然後建立備擇假設,為拒絕提供統計證據,從而證明這個假定的陳述是錯誤的。

(2)對研究性假設的檢驗

在研究性假設檢驗的調查研究中,應該建立原假設和備擇假設,並用備擇假設來表示研究性假設,這樣如果拒絕,將支持樣本所得出的結論以及應該採取某些行動。

(3)對決策情況下的檢驗

在決策情況下的檢驗研究中,決策者必須從兩種措施中挑選其中一種,無論是接受還是拒絕,都必須採取一定的措施。

對假設檢驗問題做出判斷可依據兩種規則

(1)P值規則

所謂P值,實際上是檢驗統計量超過(大於或小於)具體樣本觀測值的概率。如果P值小於所給定的顯著性水平,則認為原假設不太可能成立;如果P值大於所給定的標準,則認為沒有充分的證據否定原假設。

(2)臨界值規則

假設檢驗中,還有另外一種做出結論的方法:根據所提出的顯著性水平標準(它是概率密度曲線的尾部面積)查表得到相應的檢驗統計量的數值,稱作臨界值,直接用檢驗統計量的觀測值與臨界值作比較,觀測值落在臨界值所劃定的尾部(稱之為拒絕域)內,便拒絕原假設;觀測值落在臨界值所劃定的尾部之外(稱之為不能拒絕域)的範圍內,則認為拒絕原假設的證據不足。這種做出檢驗結論的方法,我們稱之為臨界值規則。

假設檢驗中的兩類錯誤

第Ⅰ類錯誤 (type Ⅰ error)

又稱棄真錯誤,當原假設為真時拒絕原假設。犯第Ⅰ類錯誤的概率通常記為α 。

第Ⅱ類錯誤(type Ⅱ error)

又稱取偽錯誤,當原假設為假時沒有拒絕原假設。犯第Ⅱ類錯誤的概率通常記為β。

在統計實踐中,進行假設檢驗時一般先控制第Ⅰ類錯誤發生的概率,並確定犯第Ⅰ類錯誤的概率最大值,稱為檢驗的顯著性水平。在樣本容量n不變的條件下,犯兩類錯誤的概率常常呈現反向的變化,要使α和β 都同時減小,除非增加樣本的容量。因此,統計學家奈曼與皮爾遜提出了一個原則:即在控制犯第一類錯誤的概率情況下,儘量使犯第二類錯誤的概率小。

在實際問題中,我們往往把要否定的陳述作為原假設,而把擬採納的陳述本身作為備擇假設,只對犯第一類錯誤的概率加以限制,而不考慮犯第二類錯誤的概率。

假設檢驗基本方法

檢驗形式

(1)雙側檢驗

雙側檢驗屬於決策中的假設檢驗。也就是說,不論是拒絕H0,還是接受H1 ,都必需採取相應的行動措施。

(2)單側檢驗

單側檢驗又可分兩種形式:

a、檢驗研究中的假設

將所研究的假設作為備擇假設H1,將認為研究結果是無效的說法或理論作為原假設H0。或者說,把希望(想要)證明的假設作為備擇假設。再做這類假設檢驗時應先確立備擇假設H1。

b、檢驗某項聲明的有效性

將所作出的說明(聲明)作為原假設,對該說明的質疑作為備擇假設,在做這類單側檢驗時,應先確立原假設H0。除非我們有證據表明「聲明」無效,否則就應認為該「聲明」是有效的。

單樣本假設檢驗

以均值為例進行如下分析分析,看適合哪種檢驗。

雙樣本假設檢驗

以均值差為例進行如下分析分析,看適合哪種檢驗。

以上就是我總結的假設檢驗的內容,希望能對你的知識梳理起到幫助。

相關焦點

  • 假設檢驗、Z檢驗與T檢驗
    概述假設檢驗是統計學、分析學和數據科學中的一個關鍵概念了解假設檢驗的工作原理、Z檢驗和t檢驗之間的區別以及其他統計概念介紹冠狀病毒大流行使我們大家都成了一個統計學家。我們不斷地核對數字,對大流行將如何發展做出自己的假設,並對何時出現「高峰」提出假設。
  • 讓你成為統計大師的假設檢驗指南
    沒有統計學背景的經理可能看到這份報告可能會直接交給高級管理人員,查閱後進行封存,而有統計學背景的經理則可能會告知在沒有一個解釋的情況下不要隨便的得出結論。所以在今天的文章中,將解釋假設檢驗和讀取統計意義,以區分數據中的信號和噪音–而這也是擁有統計學背景的經理想要明白的!
  • 數據分析必備——統計學入門基礎知識
    但是,統計學的知識包括了圖形信息化、數據的集中趨勢、概率計算、排列組合、連續型概率分布、離散型概率分布、假設檢驗、相關和回歸等知識,對於具體的知識點,本文就不一一介紹了,感興趣的同學請參考《深入淺出統計學》、《統計學:從數據到結論》等專業書籍。 統計學分為描述性統計學和推斷性統計學。
  • 數據分析中常犯的18個統計學錯誤,請務必跳過這些坑
    在數據分析的過程中我們經常會用到很多的統計學知識,但有很多統計學知識經常有人用錯,從而導致分析結果不盡如人意,今天就給大家列舉了18個容易錯的統計學知識點,建議大家收藏留著以後慢慢看:1. 變量之間關係可以分為兩類:函數關係:反映了事物之間某種確定性關係。
  • 統計學公開課大盤點
    雖然以前在學校裡學過概率和統計,特別是後者,感覺很多基本概念沒有在腦子中留下印記。這門課剛好補回了很多基本的概念。 網易公開課上將這門課程分為兩個課程「概率」和「統計學」提供在線觀看和視頻下載,並且視頻有相應的翻譯,如果能再在可汗學院官方網站上做一下練習,效果會很不錯。
  • 統計學真的有那麼可怕嗎?這兒有可以手算的效能分析
    圖源:unsplash事實上,統計學確實可以算得上是令人畏懼的學科了。但統計學不一定有那麼難學,本文就試圖向大家展示掌握統計學工具,它能讓統計學變得不再那麼可怕。那麼先從計算A/B測試的樣本量(效能檢驗)開始吧。閱讀本文前,最好閱讀先熟悉抽樣分布的概念以及比例的標準誤差的計算方法。1.設計A/B測試假設我們要用A/B測試來決定是否採用主頁的新設計。當前主頁平均每天有200個獨立訪客以及5%的點擊率 (CTR) 。
  • 多元線性回歸的模型解釋、假設檢驗、特徵選擇
    最後,我們將深入學習線性回歸,學習共線性、假設檢驗、特徵選擇等內容。現在有人可能會想,我們也可以用簡單的線性回歸來分別研究我們對所有自變量的輸出。為什麼需要線性回歸從多個輸入變量預測結果。但是,真的是這樣嗎?
  • 精益六西格瑪管理-技術人員最常使用的工具-單個比率p的假設檢驗
    我們還是先來看一個實例;說有個廠規定產品必須經過抽樣檢驗合格後才能出廠,其不合格品率P0不得超過5%。現從一批產品中隨機抽取200隻進行檢驗,發現有16個不合格品。基本步驟和計算;單個比率為p的顯著性水平為α的檢驗,設樣本來自二點分布總體,小樣本時,只能使用精確的二項分布計算,大樣本時,採用近似Z檢驗。此時,其統計量為;顯著性水平α為0.05時的拒絕域Z(0.05)為大於1.645。
  • 正確理解臨床試驗中的風險比(HR)
    可通過正式的統計檢驗和圖表(例如,Martingale殘差、Schoenfeld殘差與時間的關係圖和log-negative-log plots)來確定PH假設是否成立。然而,通常通過回顧KM生存曲線的形狀來建立假設,因而正式檢驗的結果在文獻中很少報導。如果曲線之間的分離隨時間維持,則PH假設可能成立(圖3A)。
  • 如何理解統計學中的「估計」,用Excel來幫助你學習
    然而,我們也許不清楚,為什麼在樣本方差計算公式中有一個分母n-1,而母體方差的計算公式中分母為N。為什麼這樣?統計學家提出了許多類型的估計量,而且從理論以及實踐的角度看,它們「真正地估計」了它們應當估計的母體參數。假設我們進行一個試驗,在試驗中,我們反覆從母體中抽樣,並且計算了針對母體參數的點估計。
  • 2020大學統計學考點
    統計學考點20201.數據誤差(第二章)通過調查搜集到的數據與研究對象真實結果之間的差異。分為抽樣誤差和非抽樣誤差抽樣誤差:由抽樣的隨機性引起的樣本結果與總體真值之間的差異。只存在於概率抽樣中。非概率抽樣:抽取樣本時不是按照隨機原則,而是根據研究目的對數據的要求,採用某種方式從總體中抽出部分單位對其實施調查。1.方便抽樣:調查過程中,調查員依據方便原則,自行確定作為樣本的單位。容易實施、調查成本低。無法代表有明確定義的總體。應用於前期初步認識或建立假設。
  • 英國作為統計學的發源地,讀碩士統計學,推薦這些院校
    英國作為統計學的發源地,擁有非常悠久的歷史。申請英國統計學專業是一個不錯的選擇。下面立思辰留學小編為大家推薦英國留學統計學碩士專業申請院校,需要的同學了解一下吧!1.UCL倫敦大學學院英國G5超級精英大學,其中單獨統計學專業排名位居英國第四,學術實力強,獲皇家統計學會(Royal Statistical Society)認證。學生就業面廣,近期畢業學生的就業公司與職位包括尼爾森統計分析師,渣打定量風險分析師,滙豐銀行管理管理培訓生,保柏醫療保險數據分析師等。
  • 精益六西格瑪管理-非參檢驗-符號檢驗的原理和過程
    從假設檢驗問題的本身來看呢,假設檢驗可以分為兩大類。一類是參數問題的假設檢驗,另一類是非參數問題的假設檢驗;參數問題的假設檢驗包括 對於均值的檢驗方差齊性的檢驗對比率的檢驗;綜合起來,我們說對應的「+」號數為小於3個,或大於9個時,可以拒絕原假設。在本例中,「+」號個數為2, 小於3。所以應拒絕原假設,接受備擇假設;也就時說,消費者對A/B的偏好有顯著差異。具體來說,消費者更加偏好B食品。上面所說明的是符號檢驗的基本原理。但每次都這樣計算,顯然比較繁瑣。下面介紹一個比較簡單直接的方法。
  • 面試必備:數據科學家必須掌握的3個統計學概念
    在數據科學面試中,我們也少不了要面對統計學相關的知識。以下是數據科學相關面試中最頻繁出現的三種統計學問題,它們是許多數據科學應用程式的基本構建模塊。還有一些非常重要的統計學概念本文沒有提到,比如中心極限定理,但是在提及概率分布時它仍然是不可或缺。接下來就開始吧!1.
  • 2020年自考《社會統計學》真題
    自考社會統計學是自考的一門公共課,小編整理了一些模擬試題及答案,供大家參考。點擊進入:自考報名有疑問、不知道如何選擇主考院校及專業、自考當地政策不了解,點擊立即報考諮詢》》2020年自考《社會統計學》真題一、填空題(本大題共10小題,每空1分,共10分)請在每小題的空格中填上正確答案。錯填、不填均無分。1.________是統計上特有的方法。
  • 精益六西格瑪管理-如何在MINITAB中進行威爾科克森符號秩檢驗
    前面我們舉了例子,說明了威爾科克森符號秩檢驗的具體計算步驟和方法。接下來,我們採用MINITAB工具,進行分析。看看威爾科克森符號秩檢驗在MINITAB中是如何操作的。我們任然以前面的例題為基礎,進行討論;例說裝配車間每日完成產品的臺數記錄在下面的表格中。車間管理者聲稱他們平均產量已經超過日產35臺的水平。
  • 「超智·挖坑」簡單談談統計學
    核心圍繞兩個問題,「統計學跟我有沒有關係?我要不要了解下統計學?」1、統計學,是我們認識世界的一個工具人類通過「總結」,從日常接觸的經驗中學到「規律和道理」。但如果不懂統計學,從數據和信息中得出的「規律和道理」就可能是錯的。
  • 線性回歸方程的顯著性驗證,總體驗證的F檢驗與個體驗證的t檢驗
    在本專欄的兩點說明中,有一點我提到「儘可能減少原理性講述」,本著這個思路,我給出了如上的簡化定義。因為,我們不是研究回歸分析這個學科或學術,我們只是將回歸分析應用於需求預測。所以,對於應用回歸分析的我們來說,懂得這個粗暴定義應該足夠了。
  • 線性回歸假設檢驗 - CSDN
    lrg3)get_lr_stats(x4_in, y4_in, lrg4)四個模型參數幾乎一樣( get_lr_stats 在Python_一元線性回歸及回歸顯著性 中)因此,在實際應用中,不應該局限於一種方法去分析判斷。