「P值」背後那些不可不知的事兒

2021-01-14 宏基因組

本文轉載自"態昌基因",己獲授權。

在微生態分析中,許多人都很會關注樣本之間的差異,通常也會做一些微群落結構差異 和 組間差異分析 (點擊藍字連結跳轉往期文章),並且用P值來判斷差異是否顯著。那麼,如何評價差異的可靠性呢?


許多文章中都會包含顯著性差異的計算,如通過比較組內差異和組間差異的大小,來判斷組間群落結構的差異是否顯著。那麼,有哪些常用的方法呢?






書上說P值


①犯第Ⅰ類錯誤的真實概率(α為犯第Ⅰ類錯誤的上限控制值);

②在假定原假設為真時,得到與樣本相同或者更極端的結果的概率。


是不是好抽象,不要怕,我們來跟隨獵場大佬的腳步學習一下。



賈衣玫(左)和羅伊人(右)正為爭奪鄭秋冬展開撕*大戰,這時賈提議用一枚硬幣決定誰可以和鄭廝守終身,正面是賈贏,反面是羅贏。羅畢竟是經歷過大風大浪的女子,覺得事情並不簡單,這硬幣會不會有問題?於是,她悄悄地跑到一邊先拋了5次做測試,結果傻眼了,5次全部都是正面朝上......賈的陰謀終於沒有得逞。(為羅姐姐打call)

這裡跟P值有啥關係嘞,且聽小昌認真地分析一下當時羅的心路歷程。


心路歷程(~~)

① 首先羅心地善良,相信賈的為人,認為這個硬幣沒什麼毛病,正反的概率都為0.5,這叫原假設H0 ;

② 羅的樣本就是她5次測試,而5次結果都為正,硬幣似乎有偏向正面的傾向,這叫備擇假設H1 ;

③ 羅想了一下,會不會是我運氣不好呢,有沒有可能錯怪她,這種錯誤叫做第一類錯誤,記為α;

④ 羅又一細想,背脊發涼,萬一硬幣真的有問題,我做測試又沒能發現,豈不是著了她的道,這種錯誤叫做第二類錯誤,記為β;

⑤ 假設硬幣是均勻的,連拋5次得到都是正面的概率就是0.5的5次方,也就是0.03125,這就是p值;

⑥ 羅想起了費舍爾爺爺規定的 α = 0.05,(這個界限值的意思是說,根據約定俗稱的規定,在假設硬幣沒問題的情況下,得到不正常結果的概率最小為0.05還是可以接受的,可能真的是運氣不好)但是,現在p只有0.03125,這麼小概率的事怎麼可能發生呢???我必須拒絕跟賈打賭,這個硬幣有問題的可能性太大了。


總結一下就是:P<α,拒絕H0;如果P>α,不拒絕H0。

看來必要的統計知識還是很有用噠,哈哈。





一般地,我們在文章中看到除了P值外,還會有個R²。


決定係數(coefficient of determination,R²)是反映模型擬合優度的重要的統計量,為回歸平方和與總平方和之比。


R²取值在0到1之間,且無單位,其數值大小反映了回歸貢獻的相對程度,即在因變量的總變異中回歸關系所能解釋的百分比。R²是最常用於評價回歸模型優劣程度的指標,R²越大(接近於1),所擬合的回歸方程越優。


最近,小昌在看了一篇文章後,對R²和p值對於模型擬合好壞判斷有了新的認知。大家也可以看看這篇文章是如何「現身說R²和p」的:《Lung Microbiota is Related to Smoking Status and to Development of ARDS in Critically Ill Trauma Patients》。


作者對76名受試者做差異分析,論證吸菸對下呼吸道微生物組成及豐度的影響。在Alpha多樣性分析中並不能顯著區分吸菸者、吸二手菸者和不吸菸者的情況下,通過PERMANOVA分析三組差異,得到了R² = 0.032 , p = 0.0069的結果;又通過PERMANOVA分析吸菸與二手菸、不吸菸者兩組差異,得到了R² = 0.02 , p = 0.003的結果。至此得出結論,吸菸確實會對下呼吸道微生物的組成造成影響。

道理我都懂,雖然p值很小,可是R²也這麼小,該怎麼權衡呢?

小昌認為,p值顯著是前提,不顯著的結論是不可靠的;其次,R²反映的是自變量對因變量方差的解釋比例,顯然,如果影響因變量的全部因素或者「主要因素」、「重要因素」都捕捉到的話,R²就會是比較大的,說明研究模型考慮到了重要的影響因素。如果R²很小,比如案例中小於0.05,那說明研究模型只是抓住了影響因變量的次要因素而已,模型遺漏了其他更重要的因素。



最後再聊聊常用的Adonis和ANOSIM分析這對好基友。



1.Adonis多因素方差分析

 定義:Adonis又稱置換多因素方差分析(permutational MANOVA)或非參數多因素方差分析(nonparametric MANOVA)。它利用半度量(如Bray-Curtis) 或度量距離矩陣(如Euclidean)對總方差進行分解,分析不同分組因素對樣品差異的解釋度,並使用置換檢驗對劃分的統計學意義進行顯著性分析。


我們來看下Adonis的結果長什麼樣:

Df --- 表示自由度; 註:Group --- 表示分組;

SumsOfSqs --- 總方差,又稱離差平方和;

MeanSqs --- 均方(差),即SumsOfSqs/Df;

F.Model ---- F檢驗值;

R² --- 表示不同分組對樣品差異的解釋度,即分組方差與總方差的比值,R²越大表示分組對差異的解釋度越高;

Pr --- 表示P值,小於0.05說明本次檢驗的可性度高。



注意:大家可能在文章中看到最多的是PERMANOVA,PERMANOVA與Adonis十分類似,不過Adonis不像PERMANOVA只支持分類變量,它還支持連續型變量。



2. ANOSIM相似性分析

定義:相似性分析(ANOSIM)是一種非參數檢驗,用來檢驗組間(兩組或多組)的差異是否大於組內差異,從而判斷分組是否有意義。原假設為組間差異大於等於組內差異,首先計算兩兩樣品間的距離,然後將所有距離從小到大進行排序,按以下公式計算R值,之後將樣品進行置換,重新計算R』值,R大於R』的概率即為P值。ANOSIM與NMDS的差異排序是一致的,將兩個分析組合進行顯著性檢驗。

  

其中,---- 表示組間(Between groups)距離排名的平均值;

    ---- 表示組內(Within groups)距離排名的平均值;

    n ---- 表示樣品總數。


我們來看下ANOSIM的結果長什麼樣:

註:理論上,R值(R statistic)範圍為-1到+1,實際中R值一般從0到1。原假設為組間差異大於等於組內差異,R值接近1表示組間差異越大於組內差異,R值接近0則表示組間和組內沒有明顯差異;此次統計分析的可信度用P-value表示,

P< 0.05表示統計具有顯著性;Number of permutation表示置換次數。



參考資料:

《Lung Microbiota is Related to Smoking Status and to Development of ARDS in Critically Ill Trauma Patients》

http://blog.sina.com.cn/s/blog_d8f8fbd40102x4lu.html

https://mp.weixin.qq.com/s/9UQ-dXbP9wuOZ5B_TjDstg

猜你喜歡寫在後面

為促進讀者交流、加速科學問題解決,我們建立了「宏基因組」專業討論群,目前己有800+科研人員加入。參與討論,獲得專業指導、問題解答,歡迎分享此文至朋友圈,並掃碼加主編好友帶你入群,務必備註「姓名-單位-研究方向-職務」。技術問題尋求幫助,首先閱讀《如何優雅的提問》學習解決問題思路,仍末解決群內討論。問題不私聊,幫助同行。

學習16S擴增子、宏基因組科研思路和分析實戰,關注「宏基因組」

相關焦點

  • 你真的懂p值嗎? 說人話的統計學
    還會在統計學表面的蕪雜之中為你闡明最本質的思維方法。我們的目標是,讓你擁有一雙善用統計學的巧手,和一雙能辨清濫用統計學的慧眼。你會發現,成為統計達人也可以很輕鬆!►有人說:「統計學就是個p!」此p可不像彼「屁」,可以一放了之。作為假設檢驗的核心工具,它經常決定著一個發現的價值、一篇論文的成敗。
  • 給數據科學家直白解釋P值的含義
    最近,有人問我如何向外行人簡單地解釋 p 值。我發現這很難做到。即使對了解 p 值的人,解釋 p 值總是一個令人頭疼的問題,更不用說對不懂統計學的人了。我去維基百科找了一些東西,這是它的定義:在統計假設檢驗中,對於給定的統計模型,p 值或概率值是在原假設為真時,統計值(如兩組間的樣本均值差)與實際觀察結果相等或更大的概率。
  • 美國宣布禁用p值,原來p值很危險,如何取代p值?
    投影片上這些論點,大部分是說我們在傳統統計檢定的執行上,對 p 值有各種誤解跟誤用。現在很多人談到"p 值的危險"、"p 值的陷阱"、"p 值的誤用"、還有"p 值的誤解"。甚至有些學術期刊,也開始改變他們的編輯政策。像有本叫作 Basic and Applied Social Psychology 的心理學期刊,已經決定以後文章都不能使用 p 值,大家能夠想像嗎?
  • 九成以上研究者或無法正確理解p值
    原因不外乎兩點,1)從統計原理的角度上,p值能夠反映的信息與數據所代表的實際信息存在較大差別;2)從研究者使用的角度上,p值的構造理念和解讀方式本身不容易理解,具有認知上的誤導性。如何正確地使用與解讀p值,遂成為一個「一直在討論、從未被解決」的問題。天下苦p值久矣?
  • 驚爆| p值不是什麼?【連載3】
    點擊查看 【引言】昨日轉載美國德州大學奧斯汀校區政府系林澤民教授2016年在臺灣政大社科院的演講《看電影學統計:p值的陷阱》,他首先講的p值是什麼?今天刊出的是p值不是什麼?由於這部分的文字比較長,將分三期刊出。
  • 被Nature科學家封殺的P值,到底有什麼意義?
    因此,我決定講清楚p值是什麼,以及如何將它們用於假設檢驗,以期有助於你更加直觀透徹地理解p值,顯然我們不能跳過對其他相關概念和p值定義的基本理解,但我保證會以一種直觀的方式進行解釋,而不是直接向你扔去一堆技術術語。
  • p值誤我?——「貝葉斯因子」了解一下
    文章信息:跳出傳統假設檢驗方法的陷阱——貝葉斯因子在心理學研究領域的應用發表於《應用心理學》2018年 24卷 3期寫在前面:p值p值是指在一個概率模型中,統計摘要(如兩組樣本均值差)與實際觀測數據相同
  • 二、統計檢驗與p值
    我們以零假設為基礎,計算概率(p值),做出統計推斷。如果p值小於閾值,則拒絕零假設,接受備擇假設。有時候會有學生找我說,幫忙算個p值,我就會問,你的零假設是什麼?這句話等同於問「你想幹嘛?」,神奇的是,有些時候有些人就真的不知道自己想幹嘛!
  • 【統計】p值和FDR
    那麼我們通常所說的p值的計算公式可以簡單寫成:從這裡我們可以看到,p值其實是p值衡量的是一個原本應該是𝐻0的判斷被錯誤認為是𝐻1(𝑟𝑒𝑗𝑒𝑐𝑡𝐻0)的比例,所以它是針對單次統計推斷的一個置信度評估。從另一個方向理解,在假設𝐻0成立的前提下,即先假設「兩組沒有差異」,比較兩組的差值,如果差值符合正態分布,p值越小,說明「兩組沒有差異」的概率越小,通常情況下,當p值小於0.05時,認為是小概率事件,即「兩組沒有差異」「幾乎不可能發生。我們接受𝐻1,「兩組有明顯差異」,就是我們經常在論文裡看到的陽性結果。
  • 800名科學家聯名主張廢除p值!斯坦福教授:沒有p值將充滿廢話
    【新智元導讀】統計顯著性和p值是衡量研究可靠性的重要標準。這個標準是怎麼來的?今年3月Nature上一篇主張廢除p值的文章,為何獲得800位科學家聯名支持?如果沒有p值門檻,研究質量會出現大滑坡嗎?戳右邊連結上 新智元小程序 了解更多!每年,全球有數百萬學生修讀統計學課程。隨著世界上的數據量越來越大,統計學已成為越來越受歡迎的話題。
  • 統計學中的P值與顯著性的意義
    一、P值是什麼?
  • A Level化學——電子排列的那些事兒
    今天,就讓我們一起來看看有關於電子排列的那些事兒。   1Electronic Configuration   Energy level或者叫 principal quantum shells (符號n)根據離nucleus的距離而依次排序。最小的energy level,n=1,離nucleus最近。n=2的則稍遠。
  • 聽說P界值要從0.05降到0.005?不,這不是真的不是真的
    P不過最近,p值得日子也不好過,質疑的聲音真是此起彼伏。首先,兩年前美國統計協會(ASA)發表了關於p值的聲明:看到了吧,我怎麼覺得他是想說:p值啥也幹不了啊。當然還有更直白的表達:(Political Analysis, 2018)2018年1月22日,美國學術期刊《政治分析》宣布從2018年的開始的第26輯起禁用p值。其要義在於:政治分析將不再在回歸表或其他地方報告P值。造成這種變化的原因有很多,其中最重要的一個原因是:單純依靠p值本身,並不能提供支持特定模式或假設的證據。
  • 隨手學統計:繞不過的 p 值
    當 p<0.05 時,統計結果蘊藏著怎樣的玄機?歡迎走進今天的「隨手學統計」,丁香調查帶你認識這個繞不過的 p 值。首先,毋庸置疑,p 值是個概率。其真實的含義是當假設情形為真時,出現超出假設中的極端觀察結果的概率。還沒完全看懂這個定義是在說什麼?
  • 美國統計協會關於統計顯著性和p值的說明
    務實的考慮通常需要二元的、「是或否」的決策,但這並不意味著僅靠p值就可以確定⼀個決策的正確與否。「統計顯著性」(通常視為「p≤0.05」)被⼴泛⽤來作為宣告⼀項科學發現(或隱含的真理)的「許可證」,這導致了對科學過程的極⼤歪曲。(4)合理的推斷要求完備的報告和透明度。
  • 【p值之爭】史丹福大學陸教授有話說
    觀察到的p-值是個統計量,也就是統計觀測值。自身有方差。有時看著p值很小,置信區間卻很寬。但所有的替代方案都會存在同樣的問題。所以p值是評價隨機影響的重要指標,是必要條件之一。但不是充分條件。只用p值決定科研成果是對p值的錯誤使用。醫生不會用一個指標去診斷疾病」。「臨床意義在先,統計學意義在後。無臨床意義的研究不需要統計驗證。」
  • 數據造假新手段「P值黑客」
    如今,在科學研究中,出現了比學術欺詐更令人擔憂發指的行為——P值黑客(P-hacking)。「P值黑客」是指操作科學數據,從而使結果看上去具有統計學意義的行為。這個詞最早由賓夕法尼亞大學的西蒙松教授提出,一起來看看他是怎麼說的:Professor Uri Simonsohn of UPenn discussed what he refers to as "p-hacking."
  • 統計︱P值-0.05就發表,不然就去死!
    對於p值的誤用會導致不良的科學風氣與成果(對於這一點大家沒有異議)。對一些科學領域逐漸增長的擔憂,催生了這份一致聲明。p值在一些領域已經成了決定研究論文是否值得出版的試金石。結果是,那些能夠給出超過某個隨意閾值的研究論文,更有可能被出版;同時具有更大或同等科研重要性的研究可能被扔在抽屜裡,不被科學界所見。 分歧大多圍繞著頻率論者VS貝葉斯方法的技術爭論,以及p值的補充與替代品。「分歧是巨大的。
  • JAMA:p值檢驗,你用對了嗎?
    研究表明,文章作者報告p值的越來越多,但他們誤解了p值的含義。p值是報告科學結論是否真實的統計學意義的概率值。研究人員發現,因為p值常被誤用,對p值使用的增多並不代表生物醫學研究或數據分析水平的提高。"研究人員通常對p值的使用技術不佳,用有偏見的方式使用,因此變得非常具有誤導性。"
  • 作為一名數據科學從業者,你應該知道的P值
    >當你向有抱負的數據科學家談論p值時,以下情況看起來是否很熟悉?維基百科(Wikipedia)對p值的定義讓那些統計和數據科學領域的任何新手都感到望而生畏。關於p值的典型對話是這樣的:而且你只知道一些公式和約定,卻沒有如何系統的解釋什麼是P值的想法。那麼,我們如何一勞永逸地學習p值,並將其根深蒂固地牢記在心?