白話空間統計之四:P值和Z值(中)

2021-02-19 蝦神daxialu

要說P、Z之前(本文的P、Z寫法,請忽略大小寫),我們先看看一個中學化學的概念:PH值。

另外,還要糾正一個說法,p 是一個值(p value),而z是一個得分(z scores),上篇文章中,稱謂出錯了。



就像上面那個PH試紙的標尺,從中間往兩邊延伸,表示酸鹼的強度。理論上,自然界的物質,基本上以7為中心的泊松分布,就像下面這樣:


相對於極度的強酸和極度的強鹼,在自然界中的含量都是比較少的,更多的都是中性或者是弱酸或者弱鹼的物質。

PH值就是用來度量酸鹼度的東東,那麼我們今天要說的P、Z就類似於PH值這樣一個概念,也是用來衡量空間分布模式,而且最關鍵的,它的值也有一個和PH試紙一樣的參考標尺。

首先看看,空間分布的模式,一般來說,有三種,分別是離散的、隨機的、和聚合的。

離散的概念就是指觀測的每個數據之間的差異程度,離散程度越大,差異性就越大。

聚合與離散正好相反,表示在一定區域內的相關程度,就是聚合程度越大,相關性就越大。

隨機就不用說了,純粹的無模式,你既不能從隨機數據中獲取結論,也發現不了規律和模式。

拿到數據之後,我們都要進行零假設,然後驗證這份數據是不是具有隨機模式,如果有很大的概率是隨機模式,那麼這份數據的可分析性,基本上就微乎其微了(比如布朗運動的運動規律,估計沒有哪個人會無聊的去做研究,一方面根本就研究不出什麼結果來嘛,另一方面是隨機結果的分析也不具有可重現性)。

P值和Z得分分別表什麼呢?

p值(P-Value,Probability,Pr),代表的是概率。它是反映某一事件發生的可能性大小。在空間相關性的分析中,p值表示所觀測到的空間模式是由某一隨機過程創建而成的概率。比如我說,你計算出來的p值是1,那就表示你用於計算的這份數據,100%是隨機生成的了(當然,不可能是1的,0.5以上就也不得了)。如果是0.1,就表示只有10%的可能性是隨機生成的結果。

這樣看來,p值是越小越好,但是小到什麼樣的程度才會最好呢?後面我們會就這個問題繼續討論。

z得分(Z scores)表示標準差的倍數(standarddeviations)。

先看看「標準差」是什麼,在官方的解釋是:「總體各單位標準值與其平均數離差平方的算術平均數的平方根」,好吧,我知道這個概念有點繞口,你就知道記住「標準差能反映一個數據集的離散程度」,就可以了。

那麼z得分,就是標準差的倍數(有正負之分),比如z得分是+2.5,就表示你的數據計算出來,得到的結果是標準差的正2.5倍,那麼就表示數據已經高度聚集了。反之,如果你算出來的是-2.5,那麼就表示你的結果是標準差的負2.5倍,就是高度離散的數據了。

P值和Z得分,一般都是一起出現的,如下圖所示:


可以看見,p值與z值是有相關性的。上面這個標尺就是p值和z得分的"PH試紙標準比色卡"。

按照這個分布趨勢,我們可以看出,數據高度聚集和高度離散,都是小概率的事件。如果你計算出來的p值和z得分,被分布在了兩端,就說明你的數據出現隨機模式的概率非常低了。

一般來說,要進行數據分析,我們首先就要設立一個置信度,也就是說,你要設定你的數據,起碼要有多大的可能性,被落在你期望的區間內。

如,一拿到數據,我們最先就要想,這份數據起碼應該有絕大部分的值,不是隨機的(也就說,是應該有規律的),這個絕大部分到底應該被量化為多少呢?一般來說,我們會選擇90%,或者95%或者99%。那麼99%是最極端的情況,表示你能夠完全的確認,這份數據沒有任何的隨機可能(只有1%的可能是隨機創建的),完全的接受了零假設。

下表顯示了不同置信度下未經校正的臨界 p 值和臨界 z 得分。

z 得分(標準差)

p 值(概率)

置信度

< -1.65 或 > +1.65

< 0.10

90%

< -1.96 或 > +1.96

< 0.05

95%

< -2.58 或 > +2.58

< 0.01

99%

「未經校正」就所謂的「經驗參數」,當然還有一個「錯誤發現率(FDR)」工具,可以對p 值的臨界點進行校正。這些校正後臨界值會等於或小於上面的表所示的值。

對於這個FDR工具,先挖個坑,以後填。

最後,我們最後來解讀一份數據


這個是通過ArcMap的全局莫蘭指數計算出來的結果,我們暫時跳過期望指數和方差,直接看我們這幾天講的內容。

莫蘭指數是大於0.7,z得分是大於1.96,p值為大於0.04小於0.05,對照上面那個對比標尺,所以就能得出以下的結果:

1、莫蘭指數是正數,而且大於0.7,就表示這份數據具有空間正相關性,數據集的用於分析的值與空間聚集度成正比。

2、p值小於0.05,所以本數據是隨機生成的概率只有5%(95%的置信度)。

3、z得分大於1.96,說明這份數據的呈現了明顯的聚類特徵。

那麼總體說,p值代表數據來源的可靠性,z得分和莫蘭指數都表示此數據有明顯的規律。

最後來看看,這是一份什麼數據:


這是北京市2013年9月的房價數據(友情感謝小強同學提供)。這份數據是通過爬蟲從網絡上扒下來的,自然不會是隨機生成,而且房價的數據確實是明顯有聚集特性和空間正相關的。

這樣,通過計算,驗證了我們的猜測和觀點。

關於P值和Z得分的內容,後面還有,未完待續。

前面的文章,可以先關注蝦神的公眾號,然後查看歷史信息就行。或者點擊原文連結,去看蝦神我的博客。

相關焦點

  • 【統計】p值和FDR
    在表格中可以表示為,為了檢驗的準確性,FP越小越好。那麼我們通常所說的p值的計算公式可以簡單寫成:p值衡量的是一個原本應該是𝐻0的判斷被錯誤認為是𝐻1(𝑟𝑒𝑗𝑒𝑐𝑡𝐻0)的比例,所以它是針對單次統計推斷的一個置信度評估。
  • 統計︱P值-0.05就發表,不然就去死!
    Fisher的具體做法是:2.選擇一個檢驗統計量(例如z 統計量或Z 統計量) ,該統計量的分布在假定的參數取值為真時應該是完全已知的。3.從研究總體中抽取一個隨機樣本4計算檢驗統計量的值5計算概率P值或者說觀測的顯著水平,即在假設為真時的前提下,檢驗統計量大於或等於實際觀測值的概率。.如果P<0.01,說明是較強的判定結果,拒絕假定的參數取值。
  • 隨手學統計:繞不過的 p 值
    當 p<0.05 時,統計結果蘊藏著怎樣的玄機?歡迎走進今天的「隨手學統計」,丁香調查帶你認識這個繞不過的 p 值。首先,毋庸置疑,p 值是個概率。其真實的含義是當假設情形為真時,出現超出假設中的極端觀察結果的概率。還沒完全看懂這個定義是在說什麼?
  • 美國宣布禁用p值,原來p值很危險,如何取代p值?
    以《政治分析》在政治學之地位,其禁用p值的決定,將會引起連鎖效應,導致其他刊物跟進。一直以來,關於p值的討論爭論不斷。小編今天為大家介紹美國德州大學奧斯汀校區政府系林澤民教授2016/6/6在臺灣政大社科院的演講,題目為《看電影學統計:p值的陷阱》。  院長、陳老師,各位老師、各位同學,今天很榮幸能夠到政大來,和大家分享一個十分重要的課題。
  • 給數據科學家直白解釋P值的含義
    最近,有人問我如何向外行人簡單地解釋 p 值。我發現這很難做到。即使對了解 p 值的人,解釋 p 值總是一個令人頭疼的問題,更不用說對不懂統計學的人了。我去維基百科找了一些東西,這是它的定義:在統計假設檢驗中,對於給定的統計模型,p 值或概率值是在原假設為真時,統計值(如兩組間的樣本均值差)與實際觀察結果相等或更大的概率。
  • P值不重要!P值不重要!!P值不重要!!!
    -臨床問題,數據分析亦不單單指統計,統計只佔臨床研究體系的一小部分,不要過分強調統計技巧和陽性結果,需重點發揮臨床醫生的優勢-解決貼近臨床的科學問題,避免掉入「統計學陷阱」。作為經典概率理論的一部分,p值得到了最廣泛的應用,雖然往往這種應用都是錯誤的。Chavalarias 團隊的研究[1]發現隨機抽樣1000份摘要中,96%的摘要都至少有一個這樣的"統計顯著性"的p值,可簡單理解為96%的摘要都報告了陽性發現,事實上有這麼多顯著性結果是完全不現實的,不可能96%的檢驗假設都是顯著性的。這得有多大的發表偏倚啊。
  • 統計 讓人糾結的統計學P值
    請注意,統計學分析的結果是兩組差異的可能性P值大小,並不是相差的多少,但是我們現在對P值非常認真,幾乎到了崇拜的地步。如果沒有達到預期的小概率,即使數據差別很大,我們也不承認差異。在臨床研究中,我們幾乎都不相信個案,認為這是偶然的可能性很大,除非像某些絕對不可能發生的案例,例如你用某方法治療愛滋病,患者完全痊癒,有一個我也服。其他的,例如你治某個惡性癌症患者,完全康復。
  • 美國頂級學術期刊宣布禁用p值,原來p值很危險
    以《政治分析》在政治學之地位,其禁用p值的決定,將會引起連鎖效應,導致其他刊物跟進。一直以來,關於p值的討論爭論不斷。小編今天為大家介紹美國德州大學奧斯汀校區政府系林澤民教授2016/6/6在臺灣政大社科院的演講,題目為《看電影學統計:p值的陷阱》。院長、陳老師,各位老師、各位同學,今天很榮幸能夠到政大來,和大家分享一個十分重要的課題。
  • Z值表格以及如何計算Z值
    什麼是Z值Z值,又名標準分數。在數量上表示當前分布下標準差的倍數,用來衡量給定值x到其均值的距離。在此z表中的平均值右邊找到值。z的表項表示z的鐘形曲線下方的區域。Z表中的正分數對應於大於平均值的值。然後,我們在表格中(頂部)查找剩餘數字,在本例中為0.09。相應的面積為0.8621,相當於86.21%。在某些z表上,您會發現與1.09 z分數對應的區域為0.3621。不要困惑。這樣的表僅顯示均值左右的區域。這意味著對於正值,您需要添加0.5(即50%)來計算z得分左側的面積。確實:0.5 + 0.3621 = 0.8621。
  • 醫學論文中統計報告要注意的諸多細節:p值、置信區間...
    1.3 p值和95% CI不能量化假設的概率p=0.03,並不意味著結果是由偶然機遇導致的可能性是3%;同樣,95% CI也不應被解釋為真實參數值在95% CI範圍內的可能性為95%。例如,一項納入100例患者的研究,兩組事件的發生率為70%和50%,採用Fisher精確檢驗計算的p值為0.066,而OR值的95% CI卻為1.03-5.26。
  • 作為一名數據科學從業者,你應該知道的P值
    維基百科(Wikipedia)對p值的定義讓那些統計和數據科學領域的任何新手都感到望而生畏。關於p值的典型對話是這樣的:而且你只知道一些公式和約定,卻沒有如何系統的解釋什麼是P值的想法。那麼,我們如何一勞永逸地學習p值,並將其根深蒂固地牢記在心?
  • 【p值之爭】 史丹福大學陸教授有話說
    在這篇論文中陸老師還特別提出了數據質量的問題:「進入分析的數據是垃圾,所產出的只能是垃圾!」看來,任何一個從事臨床科研的工作者都應當避免成為有意和無意的垃圾製造者。p 值之爭概述:p值是生物醫學研究中使用最廣泛的統計學概念。
  • P還是那個P,But美國統計協會到底說了啥?
    什麼是P值?非正式而言,P值是指在一個特定的統計模型下,數據的某個統計匯總指標(例如兩個比較組的樣本的均值之差)等於觀測值或比觀測值更為極端的概率。 這個定義和我們所見的常規定義在本質上並沒有區別。白話解讀:決策不是一錘子直買賣,不是通過P值一刀切來判定對錯。科學的決策過程應該是涉及從實驗的設計,測量的質量,外部的信息和證據,到假設的合理性等諸多環節和因素。  4.Proper inference  requires full reporting and transparency準則4:合理的推斷過程需要完整的報告和透明度。
  • 自然《科學方法:統計錯誤》統計有效性的黃金標準P值並不可靠(中英對照22k字附PDF發「自然p值統計錯誤」下載)
    作者是美國華盛頓特區加勞德特大學(Gallaudet University)自由撰稿人和統計學副教授裡賈納·努佐(Regina Nuzzo)。下期文章全面介紹假設檢驗中p值的概念和統計學應用、論文分析和期刊使用情況;包括多個分析數據舉例和計算說明。
  • 【p值之爭】史丹福大學陸教授有話說
    然而,僅僅利用從某單一統計檢驗所得出的p值來判斷研究項目的科學價值則是一種對p值的濫用;為得到可信的臨床研究結果,我們需要將利用p值得到的推斷檢驗的結果與次要結果以及其它數據進行整合。對於在研究中闡釋統計結果而言,了解p值的多樣性和局限性是至關重要的。【關鍵詞:p值;統計推斷;假設檢驗;統計顯著性;科學可重複性】1.
  • 統計檢驗假設的P值與檢驗水準α
    本文給大家普及一下檢驗假設中常用到的P值、檢驗水準α以及如何合理解釋。p值是在原假設(零假設)H0正確的前提下,出現觀察結果以及比之觀察結果更極端情形的概率,P值由相應統計模型計算而來,其計算根本不涉及備擇假設。
  • 統計學中一直提到的P值究竟是什麼?
    專業上,p值為結果可信程度的一個遞減指標,p值越大,我們越不能認為樣本中變量的關聯是總體中各變量關聯的可靠指標。p值是將觀察結果認為有效即具有總體代表性的犯錯概率。如p=0.05提示樣本中變量關聯有5%的可能是由於偶然性造成的。即假設總體中任意變量間均無關聯。我們重複類似實驗,會發現約20個實驗中有一個實驗,我們所研究的變量關聯將等於或強於我們的實驗結果。
  • 【論p】ASA關於統計意義和P值的聲明
    在這個背景下,美國統計學會(ASA)相信,以一個正式的聲明來澄清關於正確使用和解釋p值的若干廣泛贊同的原則,可以使科學界從中得益。這裡提及的內容不僅影響科研,而且也影響研究基金、雜誌工作、職業發展、科學教育、公共政策、新聞和法律。這個聲明並不想解決與合理統計實踐有關的所有問題,也不想平息基本爭議。而是借這個聲明以非技術的語言,按照統計學界的廣泛共識,闡明若干原則,有助於改善定量科學的實施或解釋。
  • 800名科學家聯名主張廢除p值!斯坦福教授:沒有p值將充滿廢話
    【新智元導讀】統計顯著性和p值是衡量研究可靠性的重要標準。這個標準是怎麼來的?今年3月Nature上一篇主張廢除p值的文章,為何獲得800位科學家聯名支持?如果沒有p值門檻,研究質量會出現大滑坡嗎?戳右邊連結上 新智元小程序 了解更多!每年,全球有數百萬學生修讀統計學課程。隨著世界上的數據量越來越大,統計學已成為越來越受歡迎的話題。
  • 統計學指標P值還可信嗎?
    統計學指標P值還可信嗎? 統計作為研究方法,是許多科研結果能成立的關鍵,統計中的計算好掌握,然而統計方法的概念卻有許多陷阱,一不小心就會踏入泥沼而不可自拔。