辛普森悖論與「人生的三條路」

關於這「短期容易、長期較難的道路」，上帝是慈悲的，令這路可期盼；上帝是智慧的，讓這路不簡單。

概 述

有新聞說美國iPhone用戶忠誠度沒Android高，但該國iPhone的佔有率卻是在上漲。

兩個數據都是「真實」，原因何在？

辛普森悖論揭示了數據會說謊的秘密。

本文最後少不了來一碗實用主義的雞湯，扯了一下「懷才不遇」的統計學原理，和逆向運用辛普森悖論的人生第三條路。

01

意外嗎？統計顯示iPhone用戶忠誠度沒Android高。

據CIRP分享的最新統計數據，截至9月份的前12個月，（美國市場）Android用戶的忠誠度（用戶留存率）為92%，而iOS則是89%。

據了解，CIRP的季度統計以500名真實消費者為樣本。

我好奇查了一下，CIRP公布了2017年Q4美國智慧型手機市場，iPhone的市場份額達39%，與2016年四季度的34%相比，同比增長了5%。由上圖我們也可以看到，自2017年底以來，iOS用戶的忠誠度是持續上升的。

既然iPhone用戶更不忠誠，投奔Android陣營的人不該更多嗎？為何市場份額不降反升？

這裡的確會有一個令人「疑惑」之處。

讓我們簡單算一下：

1. 500個用戶，按照最新市場份額，iPhone用戶有195人，Android用戶有305人；
2. Android用戶的忠誠度（用戶留存率）為92%，而iOS則是89%。所以叛逃率分別為8%和11%；
3. 按此計算，Android用戶叛逃了305*8%=24.4人，iPhone用戶叛逃了195*11%=21.45人。

所以，真相是，儘管所謂「忠誠度」更低，但iPhone用戶的淨流入人數還是更多。

02

這讓我想起了以前曾經寫過的辛普森悖論。

斯坦福講義裡的例子：某大學歷史系和地理系招生，共有13男13女報名。歷史系5男報名錄取1男，8女報名錄取2女。地理系8男報名錄取6男，5女報名錄取4女。

• 歷史系：1/5（男） < 2/8 （女）
• 地理系：6/8（男） < 4/5 （女）

合 計：7/13（男）> 6/13 （女）

上面的數據給出一個令人迷惑的結論：儘管每個系女生的錄取率都更高，但整體算下來男生的錄取率卻更高。

1. 每個系的女生的錄取率卻都高於男生錄取率

歷史系女生的錄取率（2/8）大於男生錄取率（1/5）；地理系女生錄取率（4/5）也高於男生錄取率（6/8）。

2. 整個學校統計，男生錄取率（7/13）高於女生錄取率（6/13）

當人們嘗試探究兩種變量(比如新生錄取率與性別)是否具有相關性的時候，會分別對之進行分組研究。然而，在分組比較中都佔優勢的一方，在總評中有時反而是失勢的一方。該現象於20世紀初就有人討論，但一直到1951年，E.H.辛普森在他發表的論文中闡述此一現象後，該現象才算正式被描述解釋。後來就以他的名字命名此悖論，即辛普森悖論。

關於上題「錄取率」，倒過來想容易很多，歷史系女生被淘汰6人，男生被淘汰4人。地理系女生被淘汰1人，男生被淘汰2人。男生在基數較大的歷史系申請人群中，絕對錄取數更多，從而令整體淘汰率更低。

為了避免辛普森悖論出現，就需要斟酌個別分組的權重，以一定的係數去消除以分組資料基數差異所造成的影響，同時必需了解該情境是否存在其他潛在要因而綜合考慮。

• 關於基數差異所帶來的相關思考；
• 另外一種基數差異所帶來的認知陷阱，就是卡尼曼和特維爾斯基提出的「基礎概率謬誤」（Base Rate Fallacy）。

03

《簡單統計學》裡寫道：混雜因素常常出現在使用觀測性數據的研究中，因為人們無法通過現實的方法使這些因素維持恆定。

所以，我們應該牢記：一項研究的結論有可能受到混雜因素的幹擾。

該書作者加裡.史密斯說，辛普森悖論實際上是更早時候由兩位統計學家發現的。

辛普森悖論指的是：當聚合數據被分解時其中的模式發生逆轉的現象。

該書還舉了幾個有趣的例子：

（1）阿拉斯加航空公司在五個存在競爭的主要機場，擁有優於另一家航空公司的準點運行記錄，但其總體準點記錄則不如競爭對手，為什麼？

因為阿拉斯加航空擁有許多飛往西雅圖的航班，而西雅圖的天氣問題經常導致飛機延誤 。

（2）對於每個年齡群體，瑞典的女性死亡率都要低於哥斯大黎加，但瑞典擁有更高的女性總體死亡率，為什麼？

因為瑞典擁有更多的老年女性 （老年人擁有相對較高的死亡率 ） 。

（3）一項醫學研究發現，一種手術對於小型和大型腎結石的治療成功率均高於另一種手術，但其總體成功率卻不如另一種手術，為什麼 ？

因為它經常被用於治療大型腎結石（大型腎結石的治療成功率相對較低 ） 。

以上例子之所以存在辛普森悖論，是因為某種混雜因素對聚合數據產生了影響 。更值得學習的是，加裡.史密斯寫道：這並不意味著分解數據永遠優於聚合數據 ，舉例如下：

在下表中，對兩個假想的棒球選手進行了比較，將數據分解成了單日和雙日。例如 ：科裡在雙日的 1 0 0次擊球中擊出 2 0個安打 ，安打率為 2 0 / 1 0 0 = 0 . 2 0 0 。

在這些編造出來的數據中 ，兩名選手恰巧在單日擁有更好的表現 ，科裡恰巧在單日擁有更多的擊球次數 。因此 ，雖然吉米在單雙日都具有更高的安打率 ，但是整個賽季安打率更高的人是科裡 。

根據這些數據 ，你認為誰是更好的擊球手 ？

正確答案是：科裡。因為我們沒有理由認為單雙日是一個有意義的混雜因素 ，這只是數據中的一種巧合而已 。

在此情況下，聚合數據可以更加準確地衡量誰是更好的擊球手 。

04

下面介紹一個更「實戰」的案例，這段內容來自「數數科技」（公眾號：ThinkingData）。

這個例子其實是倒過來說辛普森悖論：總評中佔優勢的，在每個分組比較中反而都佔劣勢。

工作中的典型案例：

某產品的用戶中有10000人使用Android設備、5000人使用iOS設備，整體的付費轉化率應該是5%。細分發現其中IOS設備的轉化率僅為4%，而Android設備則是5.5%。「聰明」的數據分析師得出結論：iOS平臺的用戶付費轉化率低下，建議放棄IOS平臺的研發。

一般來說，iOS平板的付費轉化率比Android平板高出很多，而iOS手機的轉化率也相對更好。這種情況下，設備類型就是複雜變量，如果數據是根據設備類型得到，那麼其他的數據就可能被完全忽略。

接下來我們來對比這一組數據：

由此可見，Android設備轉化率無論在平板端還是在手機端的轉化率都小於iOS設備，這也跟我們的常規預期相符。

當計算全設備情況時，Android的轉化比例為550/10000=5.5%，iOS的轉化比例只有200/5000=4.0%。這也是題中「聰明」的數據分析師得出iOS版本應該下線的根源。

原因與應對策略：誤區產生的原因說起來也很簡單，就在於將「值與量」兩個維度的數據，歸納成了「值」一個維度的數據，並進行了合併。

（從上上圖我們可以看到，基數較大的Android平板把「整體轉化率」的數據帶偏了。）

如果要避免「辛普森悖論」給我們帶來的誤區，就需要斟酌個別分組的權重，以一定的係數去消除因分組資料基數差異所造成的影響。而在實際轉化例子中，就需要用如「ARPU」、「ARPPU」這樣看似相似實際上有很大差異的指標來進行分割。

同樣地，如果要更客觀分析產品的運營情況，就需要設立更多角度去綜合評判。還是拿上述的設備轉化率為例，產品層考慮轉化的前提會優先考慮分發量、用戶量、運營思路、口碑等等。而往往為了實現最後的轉化需要，需要更多前置目標做鋪墊。

A/B測試中的注意點：

聯想到產品運營的實踐，一個常見的A/B測試誤判例子是這樣的：拿1%用戶跑了一個重大版本，發現試驗版本購買率比對照版本高，就說試驗版本更好，我們應該發布試驗版本。

而事實上，我們選取的試驗組裡往往會挑選那些樂於交流、熱衷產品、又或者是付費率高粘性高的用戶，把他們的數據與全體用戶對比是不客觀的。當最後發布試驗版本時，反而可能降低用戶體驗，甚至造成用戶留存和營收數據的雙雙下降。

收穫與總結：

避免辛普森悖論的關鍵是要同時參考不同用戶間的事實全貌。

• 第一，準確的用戶分群在數據分析中是非常重要的，尤其是在免費產品當中，平均用戶不僅不存在，而且是誤導研發的因素之一，所以關鍵在於利用特徵將用戶進行合理劃分。
• 第二，在一個具體的產品中，普適型的數據（如粗暴的對比IOS和Android總體情況）是沒有多大參考意義的，一定要細分到具體設備、國家、獲取渠道、消費能力等等再進行比對才有價值。
• 第三，斟酌個別分組的權重，以一定的係數去消除以分組資料基數差異所造成的影響，同時必需了解該情境是否存在其他潛在要因而綜合考慮。

05

我們認為數據科學家和分析師是客觀的，但數據可能會撒謊，如西諺所言：「通往地獄的道路是用好意鋪就的」。

亞馬遜歐洲商業智能部門負責人、資深數據科學家KarolisUrbonas，研究了數據科學家們應該知道的三種常見的「謊言」。

以下是引用他的觀點：

1. 平均無處不在的平均值

平均值這種過度使用的聚合度量造成了無處不在的謊言，無論何時使用平均指標–除非底層數據正常分布（這種狀況很少出現）——平均值都無法反應現實的任何有用信息。當數據分布偏斜時，平均值將受到影響，沒有任何意義。平均值不是一個強大度量工具，容易受到異常值與正態分布有偏差的影響。

2. 將數據擬合為假設–證實性偏見

如果數據科學家不得不快速得到結果，他們不得不快速回答或者解決問題，這意味著他們會把發現的第一個雜散相關就當做答案。在這些情況下，數據科學家搜索證據以確認假設，即「為假設尋找數據」。

3. 並不存在的模式

人類的大腦善於在混亂中發現模式或圖案–有時，它們開始發現並不存在的模式，這是數據科學家的致命陷阱。

說到數據會說謊，最有欺騙性的的例子莫過於統計學中著名的辛普森悖論了，正如前面兩段所提及的。

06

假如我們的工作與數據和統計無關，辛普森悖論有何意義呢？

辛普森悖論就像是欲比賽100場籃球以總勝率評價好壞，於是有人專找高手挑戰20 場而勝1場，另外80場找平手挑戰而勝40場，結果勝率41%，另一人則專挑高手挑戰80場而勝8場，而剩下20場平手打個全勝，結果勝率為28%，比 41%小很多，但仔細觀察挑戰對象，後者明顯較有實力。

——百度百科

量與質是不等價的，無奈的是量比質來得容易量測，所以人們總是習慣用量來評定好壞，而此數據卻不是重要的。

除了質與量的迷思之外，辛普森悖論的另外一個啟示是：

如果我們在人生的抉擇上選擇了一條比較難走的路，就得要有可能不被賞識的領悟，所以這算是懷才不遇這個成語在統計學上的詮釋。

關於道路難易的選擇，有三種人生路線：

（1）較難的道路

例如愛因斯坦，他說，科學研究好像鑽木板，有人喜歡鑽薄的，而我喜歡鑽厚的。類似的職業有科學家、首富、體育冠軍、明星基金經理、超級巨星，等等。

這類道路，獲勝概率極低，付出代價極大。也容易落入「懷才不遇」的境地。當然，在一個富足的、有安全感的社會裡，會有更多的人選擇這條路。期待我們亦如是。

此謂：Think big！

（2）較容易的道路

平凡之路，是你我普通人主動、或者被動的選擇。過過日子，陪好家人，自得其樂，不危害社會，也沒啥不好。比較是萬惡之源，這條道路上的人的絕大多數苦惱，來自與第一條道路人士的比較。

（3）短期容易長期較難的道路

這種道路眼下看起來並不難，人人可以走，但最終堅持下來的卻極少。

巴菲特在1989年給股東的信裡寫道：

我們之所以能夠獲得現在這樣的成功，是因為我們總是專注於發現那些一英尺高的，我們能夠跨越的障礙，而不是因為我們獲得了什麼能夠一舉越過七英尺的能力。

雖然說起來似乎有點不公平，但是無論在經營還是投資當中，往往都是堅持那些簡單和顯而易見的東西比解決難題更賺錢。如同上面的「辛普森悖論」裡提及的籃球比賽，長期投資這類事，是可以繞開「專挑高手挑戰」之路的。

在某種意義上，價值投資，長線思維，其實是逆向運用了「辛普森悖論」，找到高確定性的小目標，看起來「分組比較」中沒什麼優勢，但利用時間的魔力，最終實現了總體統計上的最高回報。

選擇較容易的「一英尺高的橫杆」，去找平手挑戰籃球，並非逃避難題，專挑軟柿子捏，而是為了實現可重複、可持續的事情。只有在更少的、更重要的變量分析上持續做到最好，才是提高整體投資回報確定性與大概率的最簡單、最樸素的方法。

此謂：Thinklong！

最終，正確的Long，都將變成Big。

最後

第三條道路，其實是前兩條道路的混合。其短期看起來是第二條路，長期看起來是第一條路。

對比「較難的道路」，理論上這條路普通人也有指望。在這條道路上，要取得非凡的成果，沒有必要非得做非凡的事情。但，反之，僅靠平庸的疊加，不管你多麼拼命、堅持，也未必能夠取得非凡的成果。

這其中需要天賦、勇氣、努力、熱愛、意志、運氣和夢想。

深究下去，第二條路上的人，就條件而言與第三條路上的人並無二致。對於絕大多數資質平庸的世人，第二條路是生活的常態，第三條路是生活的希望。辛普森悖論是兩條路之間神秘連結的一種。

關於這「短期容易、長期較難的道路」，上帝是慈悲的，令這路可期盼；上帝是智慧的，讓這路不簡單。

 

作者：老喻在加，公眾號：孤獨大腦（ID：lonelybrain）

本文由 @老喻在加 原創發布於人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基於CC0協議