假設檢驗:使用p值來接受或拒絕你的假設

2020-11-29 人工智慧遇見磐創

介紹

檢驗是統計學中最基本的概念之一。不僅在數據科學中,假設檢驗在各個領域都很重要。想知道怎麼做?讓我們舉個例子。現在有一個lifebuoy沐浴露。

沐浴露廠商聲稱,它殺死99.9%的細菌。他們怎麼能這麼說呢?必須有一種測試技術來證明這種說法是正確的。所以假設檢驗用來證明一個主張或任何假設。

目錄

假設檢驗的定義零和替代假設檢驗簡單假設檢驗和複合假設檢驗單尾和雙尾檢驗臨界區I型和II型錯誤。統計學意義信心水平重要程度P值將這些概念分解成小部分,這樣你就能理解它們的動機和用途。當你讀完這些,假設檢驗的基礎知識就會很清楚了!!

假設檢驗的定義

假設是關於參數值(均值、方差、中值等)的陳述、假設或主張。

假設是對你周圍世界的某件事的有根據的猜測。它應該可以通過實驗或觀察來測試。

比如說,如果我們說「多尼是有史以來最好的印度隊長」,這是一個假設,我們是根據他擔任隊長期間球隊的平均輸贏情況做出的。我們可以根據所有的匹配數據來測試這個語句。

零假設和替代假設檢驗

零假設是在假設為真的前提下,檢驗假設是否可能被拒絕。類似無罪的概念。我們假定無罪,直到我們有足夠的證據證明嫌疑人有罪。

簡單地說,我們可以把零假設理解為已經被接受的陳述,例如,天空是藍色的。我們已經接受這個聲明。

用H0表示。

替代假設補充了零假設。它與原假設相反,替代假設和原假設一起覆蓋了總體參數的所有可能值。

用H1表示。

讓我們用一個例子來理解這一點:

一家肥皂公司聲稱他們的產品平均殺死99%的細菌。為了檢驗這家公司的主張,我們將提出零和替代假設。

零假設(H0):平均值等於99%

替代假設(H1):平均值不等於99%。

注意:當我們檢驗一個假設時,我們假設原假設是真的,直到樣本中有足夠的證據證明它是假的。在這種情況下,我們拒絕原假設而支持替代假設。

如果樣本不能提供足夠的證據讓我們拒絕零假設,我們不能說零假設是真的,因為它僅僅基於樣本數據。零假設成立需要研究整個總體數據。

簡單假設檢驗和複合假設檢驗

當一個假設指定了參數的精確值時,這是一個簡單的假設,如果它指定了一個值的範圍,則稱為複合假設。例如

某電單車公司聲稱某車型每昇平均行駛裡程為100公裡,這是一個簡單假設的案例。一個班學生的平均年齡大於20歲。這是一個複合假設。單尾和雙尾假設檢驗

如果替代假設在兩個方向(小於和大於)給出了在零假設中指定的參數值的替代,則稱為雙尾檢驗。

如果替代假設只在一個方向(小於或大於)給出了在零假設中指定的參數值的替代,則稱為單尾檢驗。例如

H0:平均值等於100H1:平均值不等於100根據H1,平均值可以大於或小於100。這是一個雙尾檢驗的例子

同樣,

H0:平均值>=100H1:平均值<100在這裡,平均值不到100。這叫做單尾檢驗。

拒絕域

拒絕域是樣本空間中的拒絕區域,如果計算值在其中,那麼我們就拒絕零假設。

讓我們用一個例子來理解這一點:

假設你想租一套公寓。你從不同的真實國家網站列出了所有可用的公寓。你的預算是15000盧比/月。你不能再花那麼多錢了。你所訂的公寓清單的價格從7000/月到30000/月不等。

你從列表中隨機選擇一個公寓,並假設以下假設:

H0:你要租這套公寓。H1:你不會租這套公寓。現在,既然你的預算是1.5萬,你必須拒絕所有高於這個價格的公寓。

在這裡所有價格超過15000成為你的拒絕域。如果隨機公寓的價格在這個區域,你必須拒絕你的零假設,如果公寓的價格不在這個區域,你就不能拒絕你的零假設。

根據替代假設,拒絕域位於概率分布曲線的一條或兩條尾巴上。拒絕域是與概率分布曲線中的截止值相對應的預定義區域。用α表示。

臨界值是將支持或拒絕零假設的值分隔開的值,並根據alpha進行計算。

稍後我們將看到更多的例子,我們將清楚地知道如何選擇α。

根據另一種假設,拒絕域出現了三種情況:

案例1)這是一個雙尾檢驗。

案例2)這種情況也被稱為左尾檢驗。

案例3)這種情況也被稱為右尾檢驗。

I型和II型錯誤

因此,第一類和第二類錯誤是假設檢驗的重要課題之一。讓我們把這個話題分解成更小的部分來簡化它。

一個假正例(I型錯誤)——當你拒絕一個真的零假設時。

假負性(II型錯誤)——當你接受一個錯誤的零假設時。

犯I型錯誤(假正例)的概率等於臨界區α的顯著性水平或大小。α=P[當H0為真時拒絕H0]犯II型錯誤(假陰性)的概率等於β。β=P[當H1為真時不拒絕H0]例子:

這個人因犯有入室盜竊罪而被捕。由法官組成的陪審團必須裁定有罪或無罪。

H0:人是無辜的

H1:人有罪

第一類錯誤是如果陪審團判定某人有罪[拒絕接受H0],儘管此人是無辜的[H0是真的]。

第二類錯誤將是當陪審團釋放該人[不拒絕H0]雖然該人有罪[H1是真的]。

統計學意義

為了理解這個話題,讓我們考慮一個例子:假設有一家糖果廠每天生產500克的糖果。工廠維修後的一天,一名工人聲稱他們不再生產500克的糖果,可能是少了或多了。

那麼,這名工人憑什麼宣稱這一錯誤?那麼,我們應該在哪裡畫一條線來決定糖果條重量的變化呢?這一決定/界限在統計學上具有重要意義。

置信水平

顧名思義,我們有多自信:我們在做決定時有多自信。LOC(置信水平)應大於95%。不接受低於95%的置信度。

顯著性水平(α)

顯著性水平,用最簡單的術語來說,就是當事實上是真的時,錯誤地拒絕零假設的臨界概率。這也稱為I型錯誤率。

這是I類錯誤的概率。它也是拒絕域的大小。

一般來說,在測試中,它是非常低的水平,如0.05(5%)或0.01(1%)。

如果H0在5%的顯著性水平上沒有被拒絕,那麼我們可以說我們的零假設是正確的,有95%的把握。

P值

假設我們在1%的顯著性水平上進行假設檢驗。

H0:平均值<X(我們只是假設一個單尾檢驗的情況。)

我們得到臨界值(基於我們使用的測試類型),發現我們的測試統計值大於臨界值。因此,我們必須在這裡拒絕零假設,因為它位於拒絕域。

如果零假設在1%時被拒絕,那麼可以肯定的是,在更高的顯著性水平上,比如5%或10%,它會被拒絕。

如果我們的顯著性水平低於1%,那麼我們是否也必須拒絕我們的假設呢?

是的,有可能發生上述情況,而「p值」正在發揮作用。

p值是可以拒絕零假設的最小顯著性水平。

這就是為什麼現在很多測試都給出p值,而且它更受歡迎,因為它給出的信息比臨界值更多。

對於右尾檢驗:p值=P[檢驗統計量>=檢驗統計量的觀察值]對於左尾檢驗:p值=p[檢驗統計量<=檢驗統計量的觀察值]對於雙尾檢驗:p值=2*p[檢驗統計量>=|檢驗統計量的觀察值|]p值決策

我們比較p值和顯著性水平(alpha)對零假設做出決定。

如果p值大於alpha,我們不拒絕零假設。如果p值小於alpha,我們拒絕零假設。

相關焦點

  • 假設檢驗、Z檢驗與T檢驗
    單樣本t檢驗雙樣本t檢驗Z檢驗和t檢驗的決定案例研究:Python冠狀病毒的假設檢驗假設檢驗基礎讓我們舉一個例子來理解假設檢驗的概念。一個人因刑事犯罪正在接受審判,法官需要對他的案件作出判決。因此,如果較小,則需要更多的證據來拒絕零假設。別擔心,我們稍後會用一個案例來討論所有這些。
  • 假設檢驗的區別 - CSDN
    假設檢驗的基本概念實際上相當類似於這種情況。我們認為零假設是正確的,直到我們找到有力的證據反對它。那麼。我們接受另一種假設。我們還確定了顯著性水平(⍺),這可以理解為(法官判定有罪|人是無罪的)在前面的例子中的概率。因此,如果⍺較小,則需要更多的證據來拒絕零假設。別擔心,我們稍後會用一個案例來討論所有這些。
  • 讓你成為統計大師的假設檢驗指南
    在這種情況下,你始終可以使用正態分布,而不必擔心總體分布。你可以根據上述發現計算標準差和平均值,並計算z分數和p值。在這裡,隨機機會概率將幫助你接受ABC 學校的例子(如上所述)中討論的結論之一。但是,要滿足CLT定理,樣本大小必須足夠(> = 30)。現在,假設我們已經計算了隨機機會概率。
  • 假設檢驗與P-value簡介
    如果一個人摸出倆色子,跟你猜大小,你怎知道這倆色子有沒有被做過手腳?如果不把色子切開看,怎麼能知道這個色子的質地是否均勻分布?是否等概率的出現大小點呢?假設檢驗可以幫到我們。02—P值如果我們只是像前面那樣憑感覺來做事,那就太不數學了。我們需要一個數值的東西和一些數學公式來精準的指導我們做假設檢驗這件事。P值這個概念就可以勝任這個事。
  • 手把手教你使用Python實現常用的假設檢驗 !
    這篇文章,教大家用Python實現常用的假設檢驗!服從什麼分布,就用什麼區間估計方式,也就就用什麼檢驗!
  • 護理科研實務|學會假設檢驗,讓你遠離渣男
    編者按假設檢驗,就是事先對總體參數或總體分布形式作出一個假設,然後利用樣本信息來判斷原假設是否合理,即判斷樣本信息與原假設是否有顯著差異,從而決定是否接受或否定原假設。簡單來說:假設檢驗採用的邏輯推理方法是反證法。
  • 機器學習從入門到進階丨假設檢驗
    7 達到以下結論之一:拒絕原位置以支持備擇位置,或者無法拒絕原位置 以一個故事來進一步解釋假設檢驗的概念。霍爾馬維克是冰島西部的一個小鎮,這個小鎮的獨特之處,是因其巫術博物館而聞名。即使現在,那裡也有人自稱是巫師。伊西爾德和甘道夫就是這樣的人。
  • excel假設檢驗 - CSDN
    假設檢驗顯著性水平的兩種理解:1. 顯著性水平:通過小概率準則來理解,在假設檢驗時先確定一個小概率標準----顯著性水平;用 ,然後再確定H0,且保證「=」總在H0上3)原H0一般是需要反駁的,而H1是需要支持的4)假設檢驗只提供原假設不利證據即使「假設」設置嚴密,檢驗方法「精確」;假設檢驗始終是建立在一定概率基礎上的,所以我們常會犯兩類錯誤;第一類:原H0是真,卻拒絕原假設;犯
  • 「湊巧」可以拒絕嗎?統計學裡的最重要工具之一:假設檢驗
    【知識點2】p值p值是零假設為真時,得到樣本所觀測到的結果或者更極端結果出現的概率。p值越小,由樣本數據所提供的拒絕零假設的證據就越強。案例1中通過排列組合和試驗設計的原理,計算出的p值是0.014。案例2中的p值該如何計算呢?
  • 一文讀懂假設檢驗怎麼做
    原假設一般是統計者想要拒絕的假設。原假設的設置一般為:等於=、大於等於>=、小於等於<=。另外一種叫備擇假設,用H1表示。備則假設是統計者想要接受的假設。備擇假設的設置一般為:不等於、大於>、小於<。例子在進行假設檢驗時,我們希望接受版本2的假設,想拒絕接受版本1的假設。
  • Python實現常用的假設檢驗 !
    ,接受備則假設。'''import scipy.statst, pval = scipy.stats.ttest_1samp(iris['petal_legth'], popmean=4.0)print(t, pval)'''P=0.0959 > 5%, 接受原假設,即花瓣長度為4.0。'''
  • 統計學中的假設檢驗
    假設檢驗的特點就是採用邏輯上的反證法和依據統計上 的小概率原理。小概率事件在單獨一次的試驗中基本上不會發生,可以不予考慮。在假設檢驗中,我們做出判斷時所依據的邏輯是:如果在原假設正確的前提下,檢驗統計量的樣本觀測值的出現屬於小概率事件,那麼可以認為原假設不可信,從而否定它,轉而接受備擇假設。
  • 假設檢驗的基本步驟
    假設檢驗的基本步驟  假設檢驗的基本思想是:根據所獲樣本,運用統計分析方法,對總體X的某種假設 做出接受或拒絕的判斷。要使當日生產化纖的纖度的均值與1.40毫無差別是辦不到的,若差異僅是由隨機誤差引起的,則可認為 成立;若由其他特殊因素引起的,則認為差異顯著,則應拒絕 .與 相反的假設是:  : 1.40  這是備擇假設,它是在原假設被拒絕時而應接受的假設。
  • 統計:如何用Excel完成雙樣本假設檢驗
    幸運的是, Excel提供了一些工具來進行雙樣本檢驗,我們將在例子中使用它們。然而,對於右尾單尾檢驗,你必須從1.0中減去這個數字,以獲得正確的p值。如果檢驗統計量是非負數(正數或者零),那麼,對於右尾單尾檢驗,p值是正確的。但對於左尾單尾檢驗,你必須從1.0中減去這個數字,以獲得正確的p值。針對左尾檢驗,你必須改變單尾臨界值的符號。
  • 假設檢驗學習筆記
    假設檢驗分析思路為了得到用戶的年齡情況,參數估計,基於用戶樣本數據估計整體用戶年齡。假設檢驗思路根據經驗或者其他方面的信息假設一個總體用戶的年齡的可能值,在根據樣本情況,使用工具來驗證假設是否正確。假設檢驗的主要步驟設定初始假設初始假設:用戶的平均年齡32驗證結果:接受或者拒絕這個假設雙尾檢驗:默認假設=,對應假設為>或<有2個默認拒絕假設的空間。
  • r語言 t檢驗 假設 - CSDN
    <0.05,故拒絕原假設H0,H1大學學歷收入和中學學歷收入不一樣正確。0.874>0.05,不能拒絕原假設H0,說明不能認為兩組樣本結果不相同。不能拒絕原假設,x,y兩總體方差不一定不相等。
  • 精益六西格瑪管理-技術人員最常使用的工具-單個比率p的假設檢驗
    我們還是先來看一個實例;說有個廠規定產品必須經過抽樣檢驗合格後才能出廠,其不合格品率P0不得超過5%。現從一批產品中隨機抽取200隻進行檢驗,發現有16個不合格品。基本步驟和計算;單個比率為p的顯著性水平為α的檢驗,設樣本來自二點分布總體,小樣本時,只能使用精確的二項分布計算,大樣本時,採用近似Z檢驗。此時,其統計量為;顯著性水平α為0.05時的拒絕域Z(0.05)為大於1.645。
  • 必考點精講 | CFA一級考試數量分析方法:假設檢驗
    抽取樣本  假設檢驗的最後一步就是從總體中抽取相應數量的樣本,根據樣本觀測值計算出檢驗統計量,然後作出決策,是接受  還是拒絕  【例題2-7-1】  某車間用一臺包裝機包裝食鹽。袋裝食鹽的重量是一個隨機變量,服從正態分布。
  • 二、統計檢驗與p值
    所以在統計學上,假設都是以「無罪假設」出現,稱之為零假設(null hypothesis),假設是關於總體參數的論斷,而零假設總是「無罪「論斷,如沒有差別,沒有效果,沒有變化,沒有關係等,而備擇假設總是」有罪「論斷。我們以零假設為基礎,計算概率(p值),做出統計推斷。如果p值小於閾值,則拒絕零假設,接受備擇假設。
  • 數據分析必備統計學(二):假設檢驗
    講完概率分布,再來講講統計學的最後一個知識點——假設檢驗。假設檢驗是數理統計學中根據一定假設條件由樣本推斷總體的一種方法。事先對總體參數或分布形式作出某種假設,然後利用樣本信息來判斷原假設是否成立,採用邏輯上的反證法,依據統計上的小概率原理。為了更好的解釋,這裡舉個例子。