A/B測試是數據分析面試題的常客
不僅數據分析
產品經理、運營、研發、算法、設計師都會用到
今天Uni醬通過分析Amazon的面試真題
梳理答題流程
今日重磅福利
全部推文福利，每周統一發送至Uni會員郵箱
1
A/B測試為什麼這麼火?
A/B測試，不僅數據分析師用到，產品經理、研發、算法、設計師和運營也經常會用到。
2008年歐巴馬競選美國總統的時候，有一個網際網路團隊專門負責競選相關活動的線上產品。這個團隊當時做了一個非常成功的實驗：通過對6個不同風格的主頁進行A/B測試，最優的版本將網站註冊轉化率提升了 40.6%，而這40.6%的新增用戶直接帶來了額外的5,700萬美金募捐資金！
*圖片來源：網絡
什麼是A/B測試？
簡要來說，即是在產品（或某功能）正式上線前，有兩個即將面對用戶的版本，通過小範圍的發布得到不同反饋。比如針對某功能，評估如停留時長、跳出率等數據指標；針對某個產品，評估如DAU、下載量等數據指標。最終選擇用戶行為或收益更佳的版本。
為什麼要用A/B測試呢？
很多倡導數據驅動的產品，會通過大量的A/B測試實驗設置和相應的數據分析來了解業務的進展，再做決策，可以節省費用提高效率。
下面我們就通過Amazon的面試真題來看看，回答A/B測試題的流程和具體步驟。
2
Amazon數據分析A/B測試面試題
面試真題：你的團隊推薦了一個通過在網站上增加一個新的產品類別來提高收益的新方法，但是管理層擔心這個方法的有效性。你會怎麼做？
第一步：提出假設
在這個案例中，我們要測試「在網站上添加運動產品類別是否會增加收入？」
為了更好地驗證、測試這個假設，我們需要將其分為兩個部分：
在提出你的零假設和備擇 假設時，建議遵循 PICOT 格式。
在這個案例中，一個強有力的假設為：
假設細分：
對象（Population）：訪問過"Amazon.com"網站的個人
幹預（Intervention）：運動產品的新產品類別
對照（Comparison）：瀏覽原網站布局的訪客
結果（Outcome）：購買率
時間（Time）：結束訪問Amazon.com的時間
2
第二步：建立隨機策略
在面試中，有一個問題出現的頻率非常高，那就是：
如何實現隨機？
在這個面試題中，我們有兩種方式回答這個問題：
第一種方案更適合這個具體案例，因為如果我們允許訪問者自行選擇是否加入測試，很可能會削弱A/B測試的有效性。
3
第三步：設置指標
在指標設置這裡，涉及兩個非常重要的概念：敏感性（Sensitivity）和魯棒性（Robustness）。
指標應該選擇我們關係的變化（敏感性），而剔除我們不關心的變化（魯棒性）。
比如：均值（Mean）對異常值敏感，並且受這些觀察結果的影響很大。而中位數（Median）不那麼敏感，如果我們僅影響一部分用戶，即使是很大一部分，中位數也可能不會改變。
4
第四步：選擇樣本量
通常，測試只會選取一部分人進行，並且我們要去確定這一部分人的數量，這樣做是因為萬一實驗不成功，不會對所有用戶帶來負面影響。保守來說，實驗一般涉及5%或更少的用戶群，之後才逐步推廣。
如何確定測試中的曝光百分比？為此，需要回答以下三個問題：
可用來測試的總人數是多少？
估計對用戶體驗和業務的影響
對開發團隊來說，測試和調試錯誤的難度如何？
關於樣本量，在面試中可能會遇到以下問題：
5
進行測試
進行測試，對比結果，是否丟棄零假設。在進行實驗並且收集了數據後，就要確定實驗組和對照組之間的差異是否是統計顯著的。如下幾步可用於確定：
首先，需要設定你的 α值，出現 1 類錯誤的概率；
通常 α 的值設定為 5% 或 0.05 ；
其次，需要利用上面的公式計算 t-統計量進而得出概率值（p 值）；
最後，對比 p 值和 α 。如果 p 值大於 α ，不丟棄空假設。
3
A/B 測試常用理論基礎
正交實驗
廣泛使用多層實驗關係，使每一層都用同樣多的流量去做實驗，並且使各層實驗之間的結果不互相干擾。
互斥實驗
即實驗1中用到的流量，實驗2不能用。否則擔心各實驗間結果互相干擾，當然，它也有壞處，那就是實驗內容增多，每層實驗所分的流量變少。所以在大公司裡，不同功能上線前，經常發生各自部門搶流量來做實驗的事。
中心極限定理
大量相互獨立的隨機變量，其均值（或和）的分布以正態分布為極限。
置信區間和顯著性
它展現了這個均值範圍包含總體參數的概率，這個概率稱為置信水平。
所以若我們在後期數據跟蹤與指標評估中，發現某些數值的顯著性明顯，那就得好好審視。
由UniCareer獨家整理髮布, 如需轉載請註明來源
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺「網易號」用戶上傳並發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.