在這一章裡,我會提供一些有用的工具,以幫助我們更好地理解統計數據,並提高我們檢測統計謊言的能力——不幸的是,錯誤的數據往往可被用來相對輕鬆地證明幾乎所有的事情。我會使用日常生活裡的一些滑稽且有啟發性的案例。
當需要做決定時,我們往往會訴諸數字——很多很多的數字。涉及分析和理解數字的學科被稱為統計學。小說家赫伯特·喬治·威爾斯(1866—1946)預測,"未來,高效的公民有必要擁有統計學的思維,作為其讀寫的能力"。確實,統計數據在今天隨處可見。你在讀報紙、看電視或上網時,不可能不看到一些統計術語和數字。
受數據影響幾年前,我在一家主流報紙上讀到這樣一則新聞:超速不會導致事故。這個斷言基於以下統計數據:在所有的交通事故中,僅有2%發生在車輛時速為100公裡或更快的情況下。這被解讀為每小時100公裡是一個非常安全的駕駛速度。當然,雖然這則報導刊登在報紙上,但它是絕對錯誤的結論。畢竟,如果確實如此,我們為什麼要限速每小時100公裡?即使是首悲傷的歌,也把它唱得快樂些吧。根據我的數據,在時速為300公裡時,沒有事故發生,所以國家應要求所有的駕駛員將車速保持在這個安全的水平。我甚至願意有以我自己的名字命名的法律,來約束每個人駕車的速度不得低於每小時300公裡,這個法律將被稱為《夏皮拉法》。
言歸正傳,那條報導沒能提供一些關鍵的數據信息——如駕駛員保持那個速度的時間比例。我們需要這一信息來確定這個速度是否確實安全,還是實際相對危險。舉例來說,如果駕駛員在全部駕駛時間中僅有2%的時間是保持在每小時100公裡及以上,而所有事故中有2%在那個時間段內發生,那麼這就是一個"規範性"速度:既不是比其他速度更安全,也不是比其他速度更危險。但如果我們僅有0.1%的駕駛時間將速度達到每小時100公裡,而仍然有2%的事故率,那麼這個速度就非常危險了。
最近發表的一份以色列調查結果指出,女性開車比男性更好。這有可能是對的,但這項調查為這個結論引用了一個奇怪的理由,那就是涉及嚴重駕駛事故的以色列男人比女人要多。實際上,這一事實說明不了什麼。假設在全以色列只有兩位女性駕駛員,而她們去年捲入了800次嚴重的駕駛事故,而100萬男性駕駛員捲入了1000次事故中。那就意味著每位女司機的平均事故數量是每年400次(超過一天一次)。在此基礎上,我不可能說她們是好司機。
此外,根據《每日電訊報》網絡版2016年2月21日發表的一篇文章,女司機還是要比男司機更好,至少在英國是這樣。這篇文章指出,"女性司機不僅在行車測試中得分高於男性,而且在匿名觀察英國最繁忙的交叉路口——海德公園角時,得分也高於男性司機"。
圖表和謊言
以下是用圖表的方式演示數據的一個案例。假設一家公司的股價在2015年1月到2016年1月從27美元上升至28美元。在這樣一個被電腦控制的時間和年代裡,人們喜歡用圖表和報告來展示這些東西。怎麼才能做好呢?這取決於你的觀眾。
如果是在給稅務員做展示,
正如你所看到的,事情看起來並不太好。看起來像是一個死人的脈搏。它會讓聯邦稅務局哪怕是最堅強的員工心碎。
如果將同樣的數據展示給公司董事會,我會稍微修改一下圖表,讓它看起來能顯示出股價高漲,且將持續上漲的趨勢
這兩個展示的區別在於其中的一個標尺——也是我們選擇的特殊碼尺。靠著一點想像力和一些努力,我們可以用滿足我們需要的方式展示任何東西。在看電視廣告時,我看到一個有關三家服務公司的客戶滿意度的圖表展示。自然,贊助這個廣告的公司得分最高——7.5分(滿分是10分)——而它的兩個競爭者分別得分7.3和7.2。這個圖表沒有顯示抽樣客戶的數量,因此我們無法知道這三家公司的區別是否真實。不論怎樣,數據都是這樣展示的。
這些柱子創造出一種表象,即做廣告的公司比其他競爭者要遠遠領先。
班傑明·迪斯雷利(1804—1881)曾說過,有三種類型的謬誤:謊言、該死的謊言和統計數據。然而,事實上這個故事也可能是不真實的。馬克·吐溫(1835—1910)將這一評論歸功於迪斯雷利,但沒有人聲稱曾聽到英國首相說過這句名言,而且在他的所有作品中也沒有提及。
1973年,調查加州大學伯克利分校性別歧視案的人員發現,在申請攻讀研究生的8000名男性和4000名女性中,錄取男性的比例要遠遠高於女性。大學因此被控告性別歧視,但它真的有歧視女性嗎?調查人員調出各個學院的錄取數據,發現如果真要找出訴訟的理由,應當是投訴其相反的偏見:該大學所有的學院都偏愛女性申請人,從百分比來看,錄取的女性人數高於男性。
如果你對統計學(或分數計算)不熟悉,這是有可能發生的。如果所有的學院都偏向女性,那麼學校整體上應展示同樣的性別劃分,然而事實並非如此。
英國統計學家愛德華·H.辛普森在其1951年的論文中將這一現象描述為"對列聯表中關聯性的解讀"。今天我們將其稱為"辛普森悖論"或"尤爾-辛普森效應"(英國數據學家烏德尼·尤爾早在1901年就提到過類似的效應)。我將對其進行解釋,但不是用伯克利分校裡的實際生活數據,而是用一個簡單的假設版本。
假設有一所大學只有數學和法律兩個學院,我們假設有100位女性和100位男性申請了數學學院,而60位女性(或60%)和58位男性(或58%)被錄取。看起來數學學院好像更偏愛女性。另有100位女性申請了法學院,其中40位(女性人數的40%)被錄取,而只有3位男性申請,且其中1位被錄取。三分之一比40%要少,因此,看起來兩個學院都更偏向女性。然而,如果我們看一下學校的整體數據,就會發現,申請入學的200位女性中,有100位(或50%)被錄取,而申請入學的103位男性中,有59位被錄取,無論你怎麼看,59除以103都要高於50%。
這怎麼解釋?請讓我先給一個直覺性的解釋,而非技術性解釋。根據我們擁有的數據,法學院顯然對申請人要求更嚴格。因此,當許多女性(100人)申請法學院時,數學學院60%的錄取率失去相當的價值。考慮到同樣數量的女性申請了兩個學院,錄取率加起來是60%和40%的平均數,即50%。然而,由於知道法學院有著嚴格的錄取政策,只有3位男性提出申請,而只有1人被錄取(即使沒人被錄取也不會改變什麼),這只會讓數學學院錄取男性的比例稍稍降低。
由此得出結論:儘管兩個學院都偏愛女性,但由於有更多的女性申請錄取率較低的法學院,因此當兩個學院的錄取率加起來時,男性的錄取率看起來更高。
實話實說,辛普森悖論告訴我們關於分數法則很簡單的一條。用分數式描述這個故事:60/100>58/100,以及40/100>1/3,但是(60+40)/(100+100)<(58+1)/(100+3)。
一個聰明的男人有一次說,數據讓他想到穿著比基尼的女人:露出來的部分是美好的,但遮住的部分才是真正關鍵的。
我們可以本著同樣的精神聯想出大量的例子。舉例來說,我們可以想像有兩位籃球運動員:斯蒂夫和麥可,儘管斯蒂夫連續兩年得分數據比麥可要高(用嘗試投籃次數的百分比來看),但兩年的數據加起來顯示麥可是更好的得分者。