數據分析必須警惕的坑:辛普森悖論

辛普森悖論為英國統計學家E.H.辛普森於1951年提出的悖論，即在某個條件下的兩組數據，分別討論時都會滿足某種性質，可是一旦合併考慮，卻可能導致相反的結論。

近些年來，隨著大數據行業的蓬勃發展，「Data-Driven（數據驅動）」受到越來越多企業的追捧。越來越多場景的數據採集、越來越成熟的分析模型、越來越強大的分析效率，這些無疑都是精細用戶行為分析、優化決策體系的智舉。

然而在數據背後，隱藏著一些似是而非的謬誤，比如「辛普森悖論」，作為數據分析人員必須警惕。

悖論出處：

辛普森悖論為英國統計學家E.H.辛普森（E.H.Simpson）於1951年提出的悖論，即在某個條件下的兩組數據，分別討論時都會滿足某種性質，可是一旦合併考慮，卻可能導致相反的結論。

一所美國高校的兩個學院，分別是：

法學院和商學院，新學期招生。人們懷疑這兩個學院有性別歧視，現作如下統計：

從上圖顯示的數據我們可以看到，法學院男生的錄取比例為8/53=15.1%，女生錄取的比例為51/152=33.6%。同理，商學院男生的錄取比例為80.1%，女生的錄取比例為91.1%。

無論在法學院還是在商學院，女生的錄取比例都高於男生，由此可以推斷學校在招生時更傾向於招女生嗎？

當計算全校錄取情況時，男生錄取的比例為209/304=68.8%，女生錄取的比例為143/253=56.5%。男生的錄取率要高於女生，這下，恐怕要輪到女生感到不公了。

那麼問題來了：該大學的招生政策，到底有沒有性別歧視？到底是歧視男生還是女生？

先不說結論，我們再來看一個實際工作中會遇到的案例。

工作中的典型案例：

某產品的用戶中有10000人使用Android設備、5000人使用IOS設備，整體的付費轉化率應該是5%。細分發現其中IOS設備的轉化率僅為4%，而Android設備則是5.5%。「聰明」的數據分析師得出結論：IOS平臺的用戶付費轉化率低下，建議放棄IOS平臺的研發。

一般來說，IOS平板的付費轉化率比Android平板高出很多，而IOS手機的轉化率也相對更好。這種情況下，設備類型就是複雜變量，如果數據是根據設備類型得到，那麼其他的數據就可能被完全忽略。

接下來我們來對比這一組數據：

由此可見，Android設備轉化率無論在平板端還是在手機端的轉化率都小於IOS設備，這也很我們的常規預期相符。

當計算全設備情況時，Android的轉化比例為550/10000=5.5%，IOS的轉化比例只有200/5000=4.0%。這也是題幹中「聰明」的數據分析師得出IOS版本應該下線的根源。

原因與應對策略：

誤區產生的原因說起來也很簡單，就在於將「值與量」兩個維度的數據，歸納成了「值」一個維度的數據，並進行了合併。

如果要避免「辛普森悖論」給我們帶來的誤區，就需要斟酌個別分組的權重，以一定的係數去消除以分組資料基數差異所造成的影響。而在實際轉化例子中，就需要用如「ARPU」、「ARPPU」這樣看似相似實際上有很大差異的指標來進行分割。

同樣地，如果要更客觀分析產品的運營情況，就需要設立更多角度去綜合評判。還是拿上述的設備轉化率為例，產品層考慮轉化的前提會優先考慮分發量、用戶量、運營思路、口碑等等。而往往為了實現最後的轉化需要，需要更多前置目標做鋪墊。

常用的前置目標：

用戶量：免費產品需要很大的用戶量才能獲得足夠的總收入，因為該模式的轉化率極低。而這些用戶通常來自全球各個地區，使用各種不同類型的設備。針對不同的設備類型，採用通用的平均值是沒有意義的。LTV範圍：免費產品需要很長的貨幣化周期，把用戶消費當作玩家是否開心的依據，就像參與度和消費緊密相關一樣，因此可以作為分類的標準。

大多數的用戶是不會付費的，免費產品的綜合付費轉化率比較低，是因為把付費玩家和非付費玩家綜合到了一起，所以任何對免費用戶的衡量都是非常低的。因為大多數的用戶是不付費的，所以ARPU以及ARPPU相差很多。

A/B測試中的注意點：

聯想到產品運營的實踐，一個常見的A/B測試誤判例子是這樣的：拿1%用戶跑了一個重大版本，發現試驗版本購買率比對照版本高，就說試驗版本更好，我們應該發布試驗版本。

而事實上，我們選取的試驗組裡往往會挑選那些樂於交流、熱衷產品、又或者是付費率高粘性高的用戶，把他們的數據與全體用戶對比是不客觀的。當最後發布試驗版本時，反而可能降低用戶體驗，甚至造成用戶留存和營收數據的雙雙下降。

收穫與總結：

避免辛普森悖論的關鍵是要同時參考不同用戶間的事實全貌。

第一，準確的用戶分群在數據分析中是非常重要的，尤其是在免費產品當中，平均用戶不僅不存在，而且是誤導研發的因素之一，所以關鍵在於利用特徵將用戶進行合理劃分。

第二，在一個具體的產品中，普適型的數據（如粗暴的對比IOS和Android總體情況）是沒有多大參考意義的，一定要細分到具體設備、國家、獲取渠道、消費能力等等再進行比對才有價值。

第三，斟酌個別分組的權重，以一定的係數去消除以分組資料基數差異所造成的影響，同時必需了解該情境是否存在其他潛在要因而綜合考慮。

用戶分析常用縮略詞：

DNU，Daily New Users：每日新增用戶AU，Active User：活躍用戶，統計特定周期內完成過指定事項或指標的用戶數PU，Paying User：付費用戶APA，Active Payment Account：活躍付費用戶數ARPU，Average Revenue Per User：平均每用戶收入，總收入/AUARPPU，Average Revenue Per Paying User：平均每付費用戶收入，總收入/APAPUR，Pay User Rate：付費比例，APA/AULTV，Life Time Value：生命周期價值

 

作者：數數科技，公眾號，數數科技（ThinkingData）

本文由 @數數科技 原創發布於人人都是產品經理。未經許可，禁止轉載

題圖來自 Pexels，基於 CC0 協議

收藏已收藏 | {{ postmeta.bookmark }} 點讚已贊 | {{ postmeta.postlike }}