跟大家聊三個常用統計模型的應用場景。哪三個模型呢?決策樹、K-means聚類、因子分析。
為啥是這三個模型呢?因為這三個模型分別代表了數據分析的三種思路:分類、聚類、降維。
為啥只說應用場景?因為具體模型有很多專業書籍講的更好,而且我個人認為,模型是固定的,場景是多變的,知道什麼時候該用什麼模型,比會用這個模型更重要一些。
那麼,接下來正文開始。
定義:機器學習中,決策樹是一個預測模型;它代表的是對象屬性與對象值之間的一種映射關係。
個人認為決策樹最出名的應用應該是這個:
你們頭腦裡隱藏的任何念頭,
都躲不過魔帽的金睛火眼,
戴上它試一下吧,我會告訴你們,
你們應該分到哪一所學院。
你也許屬于格蘭芬多,
那裡有埋藏在心底的勇敢,
他們的膽識、氣魄和豪爽,
使格蘭芬多出類拔萃;
你也許屬於赫奇帕奇,
那裡的人正直 忠誠,
赫奇帕奇的學子們堅忍誠實,
不畏懼艱辛的勞動;
如果你頭腦精明,
或許會進智慧的老拉文克勞,
那些睿智博學的人,
總會在那裡遇見他們的同道;
也許你會進斯萊特林,
也許你在這裡交上真誠的朋友,
但那些狡詐 陰險之輩卻會不惜一切手段,
去達到他們的目的。
分院帽應用的是個非常典型的決策樹模型(什麼鬼),在上文的《分院帽之歌(節選)》中,我標粗的每個部分都可以認為是一個特徵,帽子往學生頭上一扣,讀取學生的顯著特徵,然後分到某個類別裡。所以你看,哈利波特一開始表現出來的特徵都是格蘭芬多的特徵,但他畢竟是個魂器,分院帽讀取數據時候發現這個人有兩類顯著特徵,於是猶豫不決,最後還是波特自己提出了要求,這就證明應用模型時的人工幹預必不可少(大霧)。
言歸正傳,決策樹在實際工作中基本應用於給人群分類,最好的應用場景是要把人群分為互斥的兩類,並找到兩類人群的不同特徵。當然,分為多個互斥類別也OK。
一個非常典型的場景是流失模型,對電信業來說,通過用戶的行為來提前找到哪些人有流失風險,並通過專門優惠等手段挽留,是運營中的重要部分。之前我在轉入網際網路行業時,第一選擇本來是遊戲公司(可惜願意收的給不起合理工資……),因此研究了一下遊戲用戶流失模型的內容,發現跟電信業有相通之處。舉個例子,對於某款端遊,定義超過一周不登錄用戶為流失,那麼做過的任務、拿到的裝備、打過的副本、充值金額等等,都可以作為預測用特徵,比對流失與非流失用戶,找到兩者的區別,在關鍵流失節點上加一些運營策略來減少流失。
定義:k-means聚類的目的是:把n個點(可以是樣本的一次觀察或一個實例)劃分到k個聚類中,使得每個點都屬於離他最近的均值(此即聚類中心)對應的聚類,以之作為聚類的標準。
K-means聚類的好處在於樣本量大的時候,可以快速分群,但需要在分群後注意每個群體的可解釋性。換句話說,給你一萬個人,分成四群,需要能夠解釋每一群人的突出特徵,如果有兩群人的特徵很相似,那就要重新分群了;或者有一群人的特徵不明顯,那就要增加分群了。
聚類與分類不同,分類的目的是得到可復用的規則,使得訓練集以外的個體可以直接分到已知的類別裡;聚類屬於後驗的研究,是對已有個體的辨別。當然聚類可以在一定條件下轉化為分類,例如K-means裡知道了每類的中心,那麼新個體可以依據和每類中心的距離,來判斷所屬類別。但通常情況下,聚類方法本身仍是用於研究的次數更多。
K-means常用的場景是在不清楚用戶有幾類時,嘗試性的將用戶進行分類,並根據每類用戶的不同特徵,決定下步動作。一個典型的應用場景是CRM管理中的資料庫營銷。舉例,對於一個超市/電商網站/綜合零售商,可以根據用戶的購買行為,將其分為「年輕白領」、「一家三口」、「家有一老」、」初得子女「等等類型,然後通過郵件、簡訊、推送通知等,向其發起不同的優惠活動。
明尼蘇達州一家塔吉特門店被客戶投訴,一位中年男子指控塔吉特將嬰兒產品優惠券寄給他的女兒——一個高中生。但沒多久他卻來電道歉,因為女兒經他逼問後坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數據,然後通過相關關係分析得出事情的真實狀況。
這個案例也算是與」啤酒和尿布「知名度差不多的一個案例。在這個案例中,那個高中生少女明顯是被聚到了孕婦那一類,因為她的行為模式與孕婦是很相近的。
(決策樹也可以做這件事,但需要先定義出特徵,因此在探索特徵未知的領域時,聚類可能更好用一些)
順便說一句,我原先在國企的時候幹的就是這個事,而且發送渠道是最土的那種……平信……術語叫資料庫商函……也叫直復營銷(不是直銷也不是傳銷!)。誰對此有興趣可以看看我這個答案……利用什麼可以讓產品在市場上公開透明?如何去做? – 陳丹奕的回答
定義:因子分析是指研究從變量群中提取共性因子的統計技術。因子分析可在許多變量中找出隱藏的具有代表性的因子。將相同本質的變量歸入一個因子,可減少變量的數目,還可檢驗變量間關係的假設。
之前說到因子分析是降維的一種方式,而降維歸根結底就是一句話:變量太多的時候,需要將變量重構成帶有更多信息的新變量,新變量與原始變量之間存在相關性,這樣才能在不損失太多原始信息的情況下減少變量數量。
因子分析的一個典型應用場景是滿意度調查。通過市場調研方式獲取消費者滿意度時,通常會有兩位數的問題來了解消費者對哪些方面滿意,哪些方面不滿意,這個時候因子分析就很重要,可以將消費者的問題歸結為相對較少的幾個大問題方向,同時也可以看出哪些問題更為重要,需要優先解決。
那麼,本篇文章到此結束,感謝大家的支持。
作者:陳丹奕
連結:https://zhuanlan.zhihu.com/p/20461694
本文由 @陳丹奕 授權發布於人人都是產品經理,未經作者許可,禁止轉載。