合理利用假設檢驗,讓你看清產品數據

2020-12-12 人人都是產品經理

你真的會數據分析嗎?什麼才是數據分析的正確打開方式?文章中舉出了幾種數據分析的常用例子與檢驗方式,一起來學習下。

不得不說,現在網際網路行業對產品經理的要求是越來越高了,不只是要求自己寫得了文檔、畫的了原型、鬥得過開發、忽悠過領導,還要分析得了各種數據。

你真的會做數據分析麼

目前產品經理使用比較多的數據分析方法,就是將每天的網站或者APP數據匯總到Excel中,然後用用折線圖,柱狀圖來展示數據的趨勢。比如下圖中如果是看UV,那就把每天的數據匯總出來,然後按照每周或者每月拉一下平均值,做個折線圖,是升還是降,一目了然。細緻一點就是對於一些關鍵的時間節點進行單獨分析,比如7月25日的上升期是做了哪些功能或者活動,導致UV的整體提升。

然而,這其實是非常粗糙的一種分析數據的方式,只是停留在數據的表面,並不足以是判斷數據變化的依據。

舉個打臉的慄子

我們APP正在做一項運營活動,活動的目的是提升UV和拉新。在活動進行的第10天,我們出一版數據報告,主要看活動的進行的10天裡,APP的UV是否有增長。

具體數據如下,數據分析報告中給出的結果是APP的UV從活動前10天的平均167575提升至173514,提升了大概3.5%。領導們表示很開心,預計兩個月的活動進行到剛開始的10天,UV就有了提升。

然而這個數據真的能夠代表數據提升了麼?

實際上,我後來又重新做了一次分析,平均值和提升比例沒有問題,和原來一樣,但是通過對前後數據的差異性檢驗,發現活動前和活動中的UV數據之間並不存在明顯差異,也就是這種提升並不能明顯到稱其為提升。所以看到結果後也算痛打了我的臉。

從上面的案例做個總結就是:不能只是簡單看數據提升比率,還要看這個提升比率是不是有意義,提升了2%,和提升了12%,都是提升,哪種才是真正的提升。

幾個常用場景的數據分析方法及具體操作

運營活動效果數據分析

  • 常規:UV、PV、拉新、訂單等均值及提升比
  • 精確:前後活動的UV、PV、拉新、訂單數據的假設檢驗,

如果是在全站做活動,則使用配對樣本T檢驗;

如果是分平臺,如安卓和蘋果用戶效果對比,則使用獨立樣本T檢驗。

A/B測試數據分析-對某個頁面改版的A/B測試

  • 常規:UV、PV、拉新、訂單等數據均值及提升比
  • 精確對比:A測試的UV、PV、拉新、訂單等數據與B測試結果的UV、PV、拉新、訂單等數據假設檢驗

如果A/B測試使用的同時分流量進行測試,則這時候應該是兩波獨立用戶,我們假設隨機分配的用戶不存在差異,可以用戶獨立樣本T檢驗。

如果A/B測試使用的是前後測試,即同一批用戶分別在A測試環境下做一段時間測試,然後再在B環境下做一段時間測試,則使用配對樣本T檢驗。

如果頁面改版的測試方案不只是兩種,則可以使用方差分析的假設檢驗方式

其實數據分析還有很多種檢驗方式,適用於很多情況,文章中舉出的只是幾種常用例子,如果大家想要學習更多,可以看下相關數據或者統計學論壇,讓我們的產品數據做的更精確。

 

本文由@ Sonya 原創發布於人人都是產品經理,未經許可,禁止轉載。

相關焦點

  • 顯著性檢驗、假設檢驗和原假設顯著性檢驗
    因而,每一批產品,企業要進行質量檢驗,看看產品是否合格。檢驗的原假設就是H0:d = 1cm,而備選假設就是直徑超過0.01的範圍了。在這裡效應非常清晰,為0.01cm,生產過程中,螺母直徑可能符合要求,也可能不符合要求(即有時H0為真,有時H1為真)。
  • 機器學習:數據的準備和探索——數據假設檢驗
    數據假設檢驗是數理統計學中根據一定假設條件由樣本推斷總體的一種方法。那我們啥時候會用到假設檢驗呢?問題:檢驗被告人是否有罪。根據這個問題,我們可以提出兩個互為相反的假設:零假設:被告人沒有罪。備選假設:被告人有罪。有了假設,接下來需要明確證據是什麼。根據中心極限定理,足夠多合理的樣本可以代表總體,所以我們要找到合理的樣本數據來做證據。
  • 數據分析必備統計學(二):假設檢驗
    講完概率分布,再來講講統計學的最後一個知識點——假設檢驗。假設檢驗是數理統計學中根據一定假設條件由樣本推斷總體的一種方法。事先對總體參數或分布形式作出某種假設,然後利用樣本信息來判斷原假設是否成立,採用邏輯上的反證法,依據統計上的小概率原理。為了更好的解釋,這裡舉個例子。
  • Excel數據分析:假設檢驗的5大知識點!
    -Excel數據分析工具庫中假設檢驗含5個知識點:Z-檢驗:雙樣本均值差檢驗T-檢驗:平均值的成對二樣本檢驗T-檢驗:雙樣本等方差假設T-檢驗:雙樣本異方差假設F檢驗:雙樣本方差檢驗Z檢驗:雙樣本平均差檢驗Z檢驗:雙樣本均值差檢驗概述
  • 對假設檢驗中的一些問題的思考
    這裡先假定天下烏鴉一般黑就是假設檢驗裡的原假設,而我懷疑的東西——天下烏鴉不是一般黑的就是假設檢驗裡的備擇假設。而能不能找到一隻白烏鴉就是能不能找到這樣的樣本數據,要是經過檢驗這個樣本數據是白的,那就大功告成。要是樣本數據還是黑的,那我還是無可奈何,不能把原假設怎麼樣。那怎麼來判斷樣本數據是白的還是黑的呢?
  • 護理科研實務|學會假設檢驗,讓你遠離渣男
    編者按假設檢驗,就是事先對總體參數或總體分布形式作出一個假設,然後利用樣本信息來判斷原假設是否合理,即判斷樣本信息與原假設是否有顯著差異,從而決定是否接受或否定原假設。簡單來說:假設檢驗採用的邏輯推理方法是反證法。
  • Excel數據分析:假設檢驗的5個知識點!
    Excel數據分析工具庫中假設檢驗含5個知識點:Z-檢驗:雙樣本均值差檢驗T-檢驗:平均值的成對二樣本檢驗
  • SAS系列22:定性數據假設檢驗
    系列17-21我們已經介紹了單變量定量數據的假設檢驗方法及其SAS實現,今天開始介紹定性數據的假設檢驗方法及其SAS實現。
  • 大白話系列:分析方法之假設檢驗
    今天我們來講假設檢驗分析方法。假設檢驗分析方法主要分為三步提出假設:根據要解決的問題來提出假設收集證據:收集證明來證明之前的假設得出結論:不是主觀猜想出來的,是通過收集證據證明才能得出結論那麼在工作中裡,我們該如何使用假設檢驗呢?
  • 搞定統計學必知:P值、T檢驗、卡方檢驗、假設檢驗……
    t檢驗適用於兩個變量均數間的差異檢驗,多於兩個變量間的均數比較要用方差分析。無論哪種類型的t檢驗,都必須在滿足特定的前提條件下: 正態性和方差齊性,應用才是合理的。在這個前提下,假設檢驗按下列步驟進行:確定假設進行抽樣,得到一定的數據根據假設條件下,構造檢驗統計量,並根據抽樣得到的數據計算檢驗統計量在這次抽樣中的具體值依據所構造的檢驗統計量的抽樣分布,和給定的顯著性水平,確定拒絕域及其臨界值比較這次抽樣中檢驗統計量的值與臨界值的大小,如果檢驗統計量的值在拒絕域內
  • 假設檢驗、Z檢驗與T檢驗
    概述假設檢驗是統計學、分析學和數據科學中的一個關鍵概念了解假設檢驗的工作原理、Z檢驗和t檢驗之間的區別以及其他統計概念介紹冠狀病毒大流行使我們大家都成了一個統計學家。我們不斷地核對數字,對大流行將如何發展做出自己的假設,並對何時出現「高峰」提出假設。
  • 假設檢驗:使用p值來接受或拒絕你的假設
    介紹檢驗是統計學中最基本的概念之一。不僅在數據科學中,假設檢驗在各個領域都很重要。想知道怎麼做?讓我們舉個例子。現在有一個lifebuoy沐浴露。沐浴露廠商聲稱,它殺死99.9%的細菌。他們怎麼能這麼說呢?必須有一種測試技術來證明這種說法是正確的。所以假設檢驗用來證明一個主張或任何假設。
  • 利用python進行17種統計假設檢驗
    雖然有數百種統計假設檢驗可以使用,但只有一小部分子集可能需要在機器學習項目中使用。在這篇文章中,你將看到一個機器學習項目中最流行的統計假說檢驗的手冊,其中有使用Python API的例子。注意,當涉及到數據的預期分布或樣本大小等假設時,如果違反了某個假設,某個測試的結果很可能會優雅地退化,而不是立即變得不可用。一般來說,數據樣本需要具有領域的代表性,並且足夠大,以暴露其分布進行分析。
  • 你真的了解參數估計和假設檢驗嗎?
    它是在對樣本數據進行描述的基礎上,對統計總體的未知數量特徵做出以概率形式表述的推斷。2)為什麼要進行推斷統計?在實際研究中,總體數據的獲取往往是比較困難的,總體參數一般也是未知的。因此,我們就需要利用總體的某個樣本,通過樣本統計量去估計總體參數。基於這個需求,我們就需要學習推斷統計。通過上述敘述,我們給推斷統計做一個說明。
  • 統計學中的假設檢驗
    作者 | CDA數據分析師假設(hypothesis),又稱統計假設,是對總體參數的具體數值所作的陳述。假設檢驗(hypothesis test) 是先對總體參數提出某種假設,然後利用樣本信息判斷假設是否成立的過程。
  • 【實例】Excel數據分析之假設檢驗中的t-檢驗應用
    你的假設可信嗎?在我們實際工作中,事物的個體差異總是客觀存在的,抽樣的誤差也就無可避免。
  • 統計檢驗假設的P值與檢驗水準α
    本文給大家普及一下檢驗假設中常用到的P值、檢驗水準α以及如何合理解釋。p值是在原假設(零假設)H0正確的前提下,出現觀察結果以及比之觀察結果更極端情形的概率,P值由相應統計模型計算而來,其計算根本不涉及備擇假設。
  • 理論與實務學習:專業假設檢驗
    一、假設檢驗的涵義及目的  假設檢驗是抽樣推斷的一項重要內容,是利用樣本的實際資料來檢驗事先對總體某些數量特徵所作的假設是否可信的一種統計方法。因此,凡屬於研究總體的數量變化是否按照我們預期的規律性要求的問題都屬於統計假設檢驗的討論範圍。
  • [理論+spss實戰]假設檢驗——單樣本t檢驗
    反證法思想是先提出假設(檢驗假設H0),再用適當的統計方法確定假設成立的可能性大小,如可能性小(即最後計算出P值小於0.05),則認為假設不成立。 假設檢驗其實就是驗證你事先提出的假設是落在了置信區間內部,還是落在了置信區間外部(稱為:拒絕域)。如圖,若落在了拒絕區域內(陰影部分),則拒絕H0,此時P<0.05。
  • 參數估計與假設檢驗(七)-- 獨立雙樣本均值T檢驗
    本文對獨立雙樣本均值T檢驗做進一步的介紹。在雙樣本條件下,也可以通過構造t統計量利用T分布理論來比較兩樣本所代表的總體的均值是否有顯著差異,如果兩個樣本是完全獨立的,該檢驗就叫做獨立雙樣本均值T檢驗(如圖10.18所示)。