來源:把科學帶回家(ID:steamforkids)
作者:七君
我們平時在做重大決策的時候,比如擇校啊,選專業啊,總是會參考這些比較對象的硬指標,比如它們的錄取率啊,就業率啊等等。像是,哪個學校的就業率高,我們就會去報考這個學校。
統計數字可以幫助我們了解這些比較對象的優劣,讓我們做出明智的決策。不光是個人,公司和國家也是這樣做決策的。那麼這樣做對嗎?
其...實...不...對
今天我們就來介紹一個讓人非常頭疼,但非常有用的悖論,它會告訴你,很多時候統計數字相當不可靠,特別容易誤導人。
先來看一個假設的例子。
小明生了慢粒白血病,她的失散多年的哥哥找到有2家比較好的醫院,醫院A和醫院B供小明選擇就醫。
小明的哥哥多方打聽,搜集了這兩家醫院的統計數據,它們是這樣的:
醫院A最近接收的1000個病人裡,有900個活著,100個死了。
醫院B最近接收的1000個病人裡,有800個活著,200個死了。
作為對統計學懵懵懂懂的普通人來說,看起來最明智的選擇應該是醫院A對吧,病人存活率很高有90%啊!總不可能選醫院B吧,存活率只有80%啊。
呵呵,如果小明的選擇是醫院A,那麼她就中計了。
就這麼說吧,如果醫院A最近接收的1000個病人裡,有100個病人病情很嚴重,900個病人病情並不嚴重。
在這100個病情嚴重的病人裡,有30個活下來了,其他70人死了。所以病重的病人在醫院A的存活率是30%。
而在病情不嚴重的900個病人裡,870個活著,30個人死了。所以病情不嚴重的病人在醫院A的存活率是96.7%。
在醫院B最近接收的1000個病人裡,有400個病情很嚴重,其中210個人存活,因此病重的病人在醫院B的存活率是52.5%。
有600個病人病情不嚴重,590個人存活,所以病情不嚴重的病人在醫院B的存活率是98.3%。
畫成表格,就是這樣的——
醫院A:
醫院B:
你可以看到,在區分了病情嚴重和不嚴重的病人後,不管怎麼看,最好的選擇都是醫院B。但是只看整體的存活率,醫院A反而是更好的選擇了。所謂遠看是汪峰,近看白巖松,就是這個道理。
這讓人很抓狂。萬一我們真的患上了什麼病,又遇到了這種類似的情況,豈不是會讓自己掉坑裡?大韓民國這麼多小明就是因為這個原因去世的嗎?到底這是怎麼回事?
實際上,我們剛剛看到的例子,就是統計學中著名的黑魔法之一——辛普森悖論(Simpson's paradox)。辛普森悖論最初是英國數學家愛德華·H·辛普森(Edward H. Simpson)在1951年發現的。
辛普森悖論就是當你把數據拆開細看的時候,細節和整體趨勢完全不同的現象。
辛普森悖論:同一組數據,整體的趨勢和分組後的趨勢完全不同。
從統計學家的觀點來看,出現辛普森悖論的原因是因為這些數據中潛藏著一個魔鬼——潛在變量(lurking variable),比如在上面這個例子裡,潛在變量就是病情嚴重程度不同的病人的佔比。
辛普森悖論在日常生活中層出不窮。
最著名的辛普森悖論的實例,就是1973年加利福尼亞大學伯克利分校性別歧視案的例子。
加利福尼亞大學伯克利分校
大家從表格裡可以看到,如果只看整體錄取率,那麼男生的錄取率是44%,女生的是35%。
不求甚解的話,一般人肯定會得出這樣的結論——女生被歧視了。打算申請這所著名大學的女生要是看到這樣的數據,八成肺都氣炸了。
別急,現在把上面的數據按照院系拆分,再來看看每個系的錄取率。
你可以看到,在6個院系的4個裡,女生的錄取率大於男生,女生只在2個院系裡容易折戟。加利福尼亞大學伯克利分校的統計學教授 Peter Bickel 後來發現,如果按照這樣的分類,女生實際上比男生的錄取率還高一點點。
Bickel 認為,在這個案例中,辛普森悖論出現的原因是,女生更願意申請那些競爭壓力很大的院系(比如英語系),但是男生卻更願意申請那些相對容易進的院系(比如工程學系)。辛普森悖論真是太奇怪了。
點擊播放 GIF 1.7M
再比如這個經典的佛羅裡達死刑悖論。
1991年,科羅拉多大學的統計學家 Michael L. Radelet 和東北大學的社會學研究院主任 Glenn Pierce 重新查看了1976-1987年間美國佛羅裡達州的謀殺案的審判數據,發現了重大的司法不公正事件。
從歸總的數據來看,佛羅裡達的法官在審判的時候並沒有偏向白人,因為白人嫌疑人的死刑率甚至還比黑人高一些。
但是,如果按照被害人的種族來分割數據的話,我們就會看到很不一樣的結果了——黑人比白人更容易被判死刑。
現在你可以很明顯地看出,不管被害人是什麼種族,黑人比白人更有可能被判死刑。
這還不算。分類後的數據顯示,如果受害人是白人,那麼嫌疑人就更容易被判死刑。如果被害人是黑人,嫌疑人被判死刑的可能性很低。種族歧視昭然若揭啊。
所以,我們要怎樣才能避免辛普森悖論呢?
答案是…很難。不少統計學家認為,辛普森悖論的存在,讓我們不可能光用統計數字來推導準確的因果關係。
因為數據可以用各種各樣的方式分類,然後再進行比較,所以理論上潛在變量無窮無盡,你總是可以用某個潛在變量得到某種結論。
而且對於那些不懷好意的人來說,他們很容易對數據進行拆分或者歸總,得到一個對自己有利的指標,從而來迷惑甚至操縱他人。醫學和社會學的研究者也常常會遇到辛普森悖論,從而得出錯誤的結論。
辛普森悖論完美地闡釋了這句古老的哲學寓言:「假如一棵樹在森林裡倒下而沒有人在附近聽見,它有沒有發出聲音?」如果有一個邪惡的潛在變量逃脫了你的眼睛,那麼統計數字得出的結論還可信嗎?
我們能做的,就是仔細地研究分析各種影響因素,不要籠統概括地、淺嘗輒止地看問題。
什麼,你要我舉個利用辛普森悖論操縱別人的例子?
很簡單啊。那些常說「我是聰明的小朋友裡最漂亮的,漂亮的小朋友裡最聰明的」小孩,一般都是既不_____,也不_____的。