改版效果如何評估呢？作為PM ，如何跟Leader匯報產品的改版效果？
昨天，微信訂閱號將採用信息流設計的一則消息刷爆了新媒體運營圈，在一些產品、運營社區上也引發了熱議，最後總結：還是要用數據說話。所以，如果你是微信的產品經理，對於此次改版，你會如何通過數據進行評估？今天，以微信訂閱號的改版為例，跟大家談談產品改版評估這件事。
將傳統的摺疊方式變為更為直觀的feed流模式。
大多數產品經理對改版評估這件事都比較頭疼，要麼粗略評估，要麼直接扔給運營或數據部門出數據，通常也都只是對比一下新版本的用戶增長情況，對比一下新舊版本活躍、留存的影響。要知道，每一次改版都是產品和用戶的一次重新認識，改版如果是正向的，可能會帶來增長，如果帶來的是不增不減還好，可怕的是因為一次改版帶來用戶體驗和信任的降低，造成流失，而這樣的案例也太多太多。
所以，對於產品經理來說，上線一個新版雖已身心疲憊，但用數據量化你的成果也是重中之重。評估其實很簡單，掌握了方法，用戶數據說話，沒準以後就可以站著改需求了。
不是每次都適合看新增、留存、活躍這些統計指標，正確評估的第一步是回到產品設計的初衷，因為每次改版一定是有目的的：優化了購買路徑一定是想提升購買轉化率，優化了某一頁面的設計一定是想提升當前頁面的用戶體驗，體驗的提升帶來的可以使用戶在當前頁停留時長的增加，可以是當前頁面核心功能點擊人數次數的增加，或是社群中核心用戶的幾句正向反饋。
所以，從改版目的出發，每一次改版都是可以衡量的。我們以微信訂閱號信息流的改版為例：
（可能的）改版初衷：
解決目前訂閱號被嚴重摺疊，粉絲圖文頁打開率低的現狀
改版內容：
（可能的）改版目的：
基於改版目的，我們需要提前明確評估指標，通常一次正向改版會帶來多項指標的提升，此次評估我們以3個最直接的指標來衡量：
指標1：訂閱號入口打開率
說明：無論是路徑進行了優化，還是界面進行了優化，都會帶來用戶對這一功能整體好感的提升，一定程度上會提升這一入口的打開率；
指標2：原圖文打開率
說明：更多的信息在列表頁得以展示，從列表到詳情實現了路徑最短，用戶在訂閱號功能模塊下的使用效率提升，每一次打開能看的文章數也會增加；
指標3：平均每個用戶在圖文頁查看公眾號的個數
說明：同指標2的解釋，更多的文章得以曝光，也就意味著更多的內容創作者得以曝光。
我們以指標1為例，當明確了評估指標，首先是要對當前現狀有所量化，這樣改版後才能形成對比。
對照組：
通常我們會篩選舊版本一段時間的新增用戶，這一段時間可能流量平穩、沒有大面積推廣、沒有全民熱點事件，評估這段時間新用戶使用這一功能的人數、次數、活躍比（活躍比：當天活躍的人中打開這一功能的百分比），我們假設微信的新增較少，在每一天的活躍都是存量用戶，新增活躍幾乎可以忽略，並且每一天活躍的用戶類型都比較平均。然後查看這一人群在這一段時間的打開率。
對照組
實驗組：
新功能上線以後通常會帶來用戶的一陣新鮮感，基於對照組中我們對微信新增較少而將樣本篩選為活躍用戶的假設，導致我們需要在上線之後用戶討論熱度過後再來衡量，時間跨度和條件與對照組相同。然後對比這一入口在這一段時間的使用人數、次數、活躍比的變化。
實驗組
對特定人群的分析也是改版評估非常重要的方法，也即衡量功能對特定人群的影響，可以基於用戶環境信息、用戶屬性維度，甚至用戶生命周期去對比。指標2、指標3邏輯類似，由於數據了解有限，我們只對分析思維進行闡述。
得出結論的過程是直接影響我們定義他正向與否的關鍵，對數據的解讀也是重中之重，不能缺少的是明確出我們對樣本數據的假設條件。
基於時效性的需求，通常我們會在灰度階段或者剛上線一周內進行基礎評估，在正式環境的表現以及用戶對這一重要功能的持續粘性也是也是需要持續觀測的，包括對其他核心業務指標的影響。
總結，在明確了改版評估的重要性後，我們以微信的一次改版為例，總結了以明確改版初衷為起點，從指標定義、到實驗設定、到最後的結論和持續驗證的5步方法論，並且對於評估過程中的實驗組、對照組的劃定和假設做了講解。希望對於產品、運營從業人員的有所啟發。
說明：本文僅是對於此次傳聞內容自己的理解，並不代表微信確定會進行這次改版，並且基於文中提到的指標進行評估，意在傳達產品改版評估的重要性以及分析思維和方法論，僅供參考。
本文由 @諸葛io韓重明 原創發布於人人都是產品經理。未經許可，禁止轉載。
題圖來自PEXELS，基於CC0協議