此公開課為極客公園策劃的「極客公開課•Live」第十四期。本次公開課,我們將邀請到友盟+首席數據架構師&數據委員會會長張金來為大家講解到底什麼是用戶畫像,快速建模框架,如何提高用戶精準畫像的的準確性,從理論到應用的一起了解用戶畫像。
用戶畫像也叫用戶標籤, 是基於用戶行為分析獲得的對用戶的一種認知表達,也是後續數據分析加工的起點。從認知心理學的角度,用戶標籤其實與人認知世界的方式相一致,人為了簡化思考,通常也會通過概念化的方式簡化事物認知,這種概念認知就是標籤。因此,用戶畫像的內容可以很寬泛,只要是對人的認知,都可以叫做用戶畫像。例如:今天路過這個門口三次的人,也可以是一個標籤,只要他有合適的應用場景。
另外,我們需要從概念上加以區分,用戶標籤和用戶透視,一個是個體的認知,一個是整體的標籤分布,二者都經常被人統稱為用戶畫像。今天我們在這裡說的用戶畫像主要指標籤。
一、市場細分和用戶分群:市場營銷領域的重要環節。比如在新品發布時,定位目標用戶,切分市場。這是營銷研究公司會經常用的方式。
二、數據化運營和用戶分析。後臺 PV\UV\留存等數據,如果能夠結合用戶畫像一起分析就會清晰很多,揭示數據趨勢背後的秘密。
三、精準營銷和定向投放。比如某產品新款上市,目標受眾是白領女性,在廣告投放前,就需要找到符合這一條件的用戶,進行定向廣告投放。
四、各種數據應用:例如推薦系統、預測系統。我們認為:未來所有應用一定是個性化的,所有服務都是千人千面的。而個性化的服務,都需要基於對用戶的理解,前提就需要獲得用戶畫像。
做好用戶畫像需要一定的門檻,一方面是數據的體量和豐富程度,另一方面是技術和算法能力。今天介紹的經驗基礎是【友盟+】數據,首先簡單介紹一下。【友盟+】有覆蓋線上線下的實時更新的全域數據資源,每天大約有 14 億的設備,覆蓋數百萬級的網站和 APP 行為,這個龐大的數據量使得我們有豐富的數據資源來生產用戶畫像,同時又要求我們能相應的技術能力來進行處理。
結合上圖,用戶畫像生產流程概覽,我們將用戶畫像的生產比喻成一個流水線,就如同將礦石加工成成品的過程。用戶瀏覽網頁、使用 APP、線下行為,這些數據都是礦石,需要提煉、加工成為產品,最後還要通過質檢。
這個過程通常有幾個步驟。首先獲得原始行為數據,基於這些數據做特徵抽取,相當於清洗、加工的工作;在機器學習環節,會與外部知識庫有一些交互。實際上機器算法對人的理解,一定要基於知識體系,就好像我們說的概念。比如,機器給人打汽車相關的標籤,一定要首先知道汽車體系有什麼樣的分類,有什麼車型,有這樣的知識系統我們才能把人做很好的標識歸類。
最後,質量檢測,這一步也很重要。一個標籤的質量決定了後期的應用效果,如果前期對人的分析偏了,後期結果就很難做對。
上面講的是概念圖,如果具象到實際操作中,是這樣一個框架流程:
這裡先留三個懸念:
懸念一:從用戶行為日誌開始到標籤產出,為什麼有兩條線?
懸念二:標籤體系為什麼只作用在內容標註上?
懸念三:為什麼下面的「評估」過程要特別標註出來?
1、從用戶行為日誌開始到標籤產出,為什麼有兩條線?我們把畫像分為兩大類:第一類:統計型畫像;第二類:預測性畫像。
第一類,統計型畫像是客觀存在,這種都是興趣偏好。比如,用戶每天都在看汽車新聞、搜索汽車相關的內容,基於這種行為,我們判斷這個用戶對汽車感興趣。這些行為是客觀發生的,因此無所謂正確率,也不需要訓練樣本集。
第二類,預測性畫像。需要通過用戶行為做預測,像用戶的性別預測,尤其是挖掘人的內心態度。比如,用戶在消費時,是激進的,還是保守的?有預測就有準確率。所以這裡面有很重要的評估指標,就是正確率,也需要取樣本集。這就是二者的不同,也會有不同的加工流程。
再繼續介紹標籤體系,因為很多同學會問到,「我應該建一個什麼樣的標籤體系?什麼樣的標籤體系是比較好的?」通常我們會把它分為四大類:
第一類:人口屬性。比如說性別、年齡、常駐地、籍貫,甚至是身高、血型,這些東西叫做人口屬性。
第二類:社會屬性。因為我們每個人在社會裡都不是一個單獨的個體,一定有關聯關係的,如婚戀狀態、受教育程度、資產情況、收入情況、職業,我們把這些叫做社會屬性。
第三類,興趣偏好。攝影、運動、吃貨、愛美、服飾、旅遊、教育等,這部分是最常見的,也是最龐大的,難以一一列舉完。
第四類,意識認知。消費心理、消費動機、價值觀、生活態度、個性等,是內在的和最難獲取的。舉個例子,消費心理/動機。用戶購物是為了炫耀,還是追求品質,還是為了安全感,這些都是不一樣的。
在實際構建標籤體系時,大家經常會遇到很多困惑,我列舉 5 個常見問題。
第一、怎樣的標籤體系才是正確的?其實每種體系各有千秋,要結合實際應用去評估。
第二、標籤體系需要很豐富麼?標籤是枚舉不完的,可以橫線延展、向下細分。也可以交叉分析,多維分析。如果沒有自動化的方式去挖掘,是很難做分析的,太多的標籤反而會帶來使用上的障礙。
第三、標籤體系需要保持穩定麼?不是完全必要,標籤體系就是產品/應用的一部分,要適應產品的發展,與時俱進。比如,以前沒有共享經濟這個詞,今天卻很熱。我們是不是要增加一個標籤,分析哪些人對共享經濟的參與度高?喜歡共享單車、共享汽車。
但是,有一種情況下,標籤要保持穩定。如果你生產的標籤有下遊模型訓練的依賴,即我們模型建完後,它的輸入是要保持穩定的,不能今天是 ABC,明天是 BCD。在這種情況下,是不能輕易對標籤體系做更改的。
第四個,樹狀結構 or 網狀結構?樹狀結構和網狀結構從名字上就可以看出其分別。網狀結構,更符合現實,但是層次關係很複雜,對數據的管理和存儲都有更高要求。知乎,如果仔細去看它的話題設置,其實是網狀的。
網狀的特點就是一個子話題,父級可以不止一個,可能有兩個。比如兒童玩具,既可以是母嬰下分分類,也可以是玩具下的分類,它就會存在兩個父節點之下。樹狀結構相對簡單,也是我們最常用的。網狀結構在一些特定場景下,我們也會去用。但是實現和維護的成本都比較高。比如,有一個節點是第四級的,但它的兩個父節點一個是二級,一個是三級,結構異化帶來處理上的麻煩。
第五個,何為一個好的標籤體系?應用為王,不忘初心。標籤是為了用的,並不是為了好玩,最好保證標籤體系的靈活和細緻性。
再回到剛才說的生產流程上。我先結合下面的圖介紹上半邊,統計型的標籤是怎麼去加工的。
首先我們要有行為數據,例如用戶每天看 100 篇文章,有 40 篇是體育的,有 30 篇是汽車的,有 20 篇是旅遊的,還有 10 篇其他的。我推測,你比較喜歡體育、汽車、旅遊。
對於這樣的標籤,大概需要什麼流程去做呢?環節一很重要,內容標註。只有知道用戶看的內容是什麼,才能統計偏好。環節二,如何基於用戶行為做聚合統計和歸一化。
在做內容標註時,一般會有兩種情況:第一種:有些公司在建自有用戶畫像時會很幸運,例如電商、視頻類、音樂類的媒體,它給用戶服務的這些內容是已經分類好的。可以直接用內容的標註來做用戶行為標註。
但是,對於一些通用型的內容,比如【友盟+】的數據,會有 PC 瀏覽數據、APP 的使用數據,一定要先了解用戶喜歡看什麼,才能去做下一步的工作。在這裡面,最複雜,也最典型的就是網頁的內容標註。
根據用戶的行為,統計標籤數值,歸一化。比如,我們判斷用戶是喜歡運動、還是服飾,會將他看來多少相關網頁、使用了多少 APP 進行累加,在除以一個總累積,得到一個標籤得分。
這裡面有幾個點需要關注:
第一、統計量的選取。可能是瀏覽數量、瀏覽時長、瀏覽頻度、複合關係等。舉個複合關係的例子,對於某個商品類目的偏好,你可以將瀏覽、搜索、收藏,購買等行為統計量加權在一起考慮。
第二、個體內的可比性。個體用戶的不同標籤間具有可比性。舉個例子,我有兩個標籤:閱讀、旅遊。我的閱讀標籤是 0.8 分,旅遊是 0.6 分,代表我更傾向於去閱讀,而不是去旅遊?如何保證這一點呢?在上面公式裡將個體的行為總和作為分母就可以了。
第三、垂類內的可比性。一個垂類內不同用戶的相同標籤具有可比性。
例如,我的動漫得分是 0.8,你的是 0.6,表示我比你要更喜歡動漫。那麼分母就是選取整個動漫類行為的總和。比如說,今天全國用戶在 B 站上一共 100 萬小時,你有 1 個小時,你是百萬分之一,他花了 2 個小時,大約是百萬分之二,最後再做一個歸一化,就會產生一個類內可比的得分。
我們剛剛說的是絕對化的值,還有一個簡單的做法就是做排序,基於用戶的使用時間做排序,這樣也可以。
但是排序和歸一化到底有什麼不同?排序只代表相對性,而剛才說歸一化代表了強弱, 我的得分是 0.8 和你是 0.6,就表示偏好強度上我比你高了 30%,而排序則不能反映這樣的比例。
11、統計型標籤生產要點回顧
1、行為數據。瀏覽、使用、點擊、購買、LBS 等,通過行為數據反映人的偏好傾向;
2、標籤體系。根據實際需要進行設定。可以參考《消費者行為學》、電商類目體系、應用市場體系、媒體資訊體系等;
3、內容標註。把行為相關的內容抽出來做分析,把標籤體系先打到它們身上,再累積到「人」身上;
4、得分歸一化。明確歸一化的目標,選擇所需的歸一化方法。舉個例子,推薦適合用個體內可比較的得分,不管 A 看會某個內容用了多少時間,A 所看到最多的內容就優先推薦給 A,不用和其他人比較;
但在投放廣告上,就要考慮用戶在這個商品上的傾向度有多高,需要用戶間可比較的得分。
預測性標籤的生產流程:特徵抽取→監督學習、樣本數據→評估→標籤產出,這也是經典的機器學習流程。
特徵工程,是機器學習的關鍵過程之一。最重要的是提取不同側面的特徵。我們以移動端使用行為可抽取的部分特徵為例:
1、APP 使用事實特徵:用戶 30 天內開啟 APP 的天數、用戶 180 天內開啟 APP 的天數。這兩個數據都會作為特徵,考慮用戶短期和長期的情況。
用戶 30 天內使用 APP 時長佔比、用戶 180 天內使用 APP 時長佔比。剛才說的是次數,這塊是時長,用戶可能反覆打開,但是總時長很短。
2、興趣特徵:雖然信息有損失,但是泛化效果更好。舉個例子,你是 A 站用戶,他是 B 站用戶,理論上講,如果我們用最底層的數據,你們兩個人是不太一樣的,但某種程度上,他們都是對二次元感興趣的人;
近期用戶興趣標籤歸一化值、長期用戶興趣標籤歸一化值。用戶長短期基於興趣標籤下使用不同 APP 的熵值、歷史某類 APP 時間消耗佔比變動比例。其實反映了我們要看這個分布,以及分布的趨勢性,你過去關注度高,現在關注度減弱,和你過去關注度不高,現在關注度高,其實這兩個是完全對應不同的人,這也是我們參考的特徵。
3、設備與環境特徵:近期使用的設備品牌、近期使用的設備型號;工作日時間段內 Wi-Fi 使用時間分布、休息日時間段內 Wi-Fi 使用時間分布(工作日與假日的區分)。
1、模型選擇。有有監督的分類算法:邏輯回歸、SVM、決策樹、Bagging、深度學習;
2、二分類 or 多分類。二分類比較簡單,多分類則有不同的拆分策略。舉個例子,把人分為男女,是二分類的問題;分為年齡段,就是多分類的問題,我們在機器學習當中也有不同的做法,OvO(一對一)、OvR(一對其他)、MvM(多對多)。
3、結果評估。評估指標包括:正確率、召回率、應用效果。但是對於統計型標籤來說無正確率,召回率看閾值,今天你只看一個汽車的型號,理論上我也可以給你打一個標籤,但是分值非常低,這個分值到底要不要算做這個標籤的人,要看中選什麼樣強度的人。預測型標籤,一般看 Precision,Recall,F-Score,ROC。
4、Ranking 任務。一類特殊的定製化標籤。針對特定場景,如對電話營銷需要按照可能性排序打電話。套用上述模型,可以用最終得分來做 Ranking。
15、關於標籤評估的延展
標籤的生產不是目的,使用才是。正確率≠效果,舉個例子:喜歡看車不代表是試駕購車的目前人群。
第一,用戶分層的評估。針對於重點人群進行評估,不同人群分層進行評估;第二,從全局進行評估。不要只局限於樣本集合的評估,參看一些全局統計數據。例如,人口屬性的分布和統計局的結果是否相符?第三,有效果反饋的應用。將標籤直接應用於使用場景中檢驗效果。例如,進行營銷的定向投放,測試點擊率;第四,利用其它數據佐證。使用其他行為數據來驗證標籤的有效性。例如,在電商環境中後續的行為差異來評估顯著性。
我們今天不再強調標籤豐富度,而是快速建模的能力。快速建模怎麼做到?這套系統在【友盟+】比較完備,使得我們收到一個樣本就可以很快訓練模型,這個流程最快 3 個小時就能夠把標籤算出來。
Data -> Insight -> Action->Data->…
第一步,先有數據,就像標籤生產出來,要有數據的過程;第二步,分析,洞察。洞察並不是最終目的,因為洞察只是得到一個結論或者方向;第三步,開始應用;應用後又帶來新的數據,從而形成數據的閉環。舉個例子,廣告怎樣的群體點擊了,數據被反饋回來,下一個循環可以進行調整,不斷地迭代,優化整個效果。
DIP營銷服務流程
關於上述流程的實際使用,結合【友盟+】DIP 數據智能平臺講一下營銷服務流程是如何做的。
左上面是我們一些數據,例如:客戶上傳數據後,我們會有一個匹配的過程,把所有數據打通連接。上傳、匹配之後,會對這些數據做人群分析。比如說寶馬 X1 今年剛上市,他們把去年購買 X1 的用戶都上傳上來,我們會分析這樣的用戶在哪些方面是有特性的,比如年齡段、地域分布、收入、偏好。有了這樣的分析後,我們可以選擇相應的人群,基於歷史的偏好、特徵,然後再去投放;如果中間我們會發現人群量不夠,最初選擇 10 萬人可以放大到 100 萬人。最後輸出到媒體、RTB 等渠道商。做預算,看效果,將效果數據回流,再去迭代,以進一步提高投放的精準率。這是我們常用的一個流程。
在舉個實際的例子,如果要做一個新產品的傳播推廣,這時需要做定向投放。我們先要對潛在用戶要進行分析,例如對於科技產品非常感興趣的人,我們發現他每天 8、9 點特別活躍,通過進一步分析,他會和哪些媒體做觸達,或者他看不看電視會不會留意到地鐵裡面的廣告,這也是一個觸達渠道,以及看什麼樣類型的,看資訊、社交、八卦,這個不太一樣。要找到受眾,應該到哪找?比如說去這種有態度的網易新聞,還是個性化的今日頭條,或者說騰訊新聞,這都需要進行分析。
基於上面的分析之後,再做結合分析。舉個例子,你對科技感興趣,那你的手機是不是到了更新期,你手機大概用了三年,應該到了更新期,就可以對這樣的特定人進行投放。把人圈出來,投放、曝光,曝光之後我們去看營銷的結果,然後返回來繼續分析,會不會對其他內容感興趣,再去做下一輪分析。
這就是我們之前做的一系列方法的一個應用。
最後關於數據應用我再給出一些通用型的建議:
第一、分析:
1、結合業務場景去選擇分析維度:如果你是給中年婦女推薦保健品,你去分析她們喜歡不喜歡二次元,這就非常說不通了。
2、不要只是簡單的看畫像分布,一定要做對比。
3、例如,與大盤對比情況:TGI。上圖是我們分析一個 APP 內的購買人群。紫色的線是人群的分布,年齡段的分布。我們看到 18-30 歲之間的人很多,感覺還不錯。但是,如果你做一下大盤情況,APP 的用戶大多是年輕人,因為本身這個產品有一個年齡偏小的分布特徵。通過分析對比之後發現,TGI 比較高是 30-39 歲的人,這個範圍的人才是在購買人群裡面是顯著的,這個群人才是你去做運營活動、投放的人群。
分析,一定要去做對比,單純看分布是並沒有太多信息含量。不對比看不出來差異。
4、環節的對比。哪些人我觸達了,哪些人到這裡落地了,哪些人註冊了、哪些人真正瀏覽、哪些是留存、哪些是付費,每一個環節你都可以做這樣的分析。
第二、精準投放(Action)。這是我們今天做標籤非常大的一類應用。這時候大家可能會發現,我們做品牌廣告、效果廣告是不同的,舉個例子,品牌廣告我們就會關心 TA 濃度,關注我投放廣告的人性別怎麼樣、年齡分布怎麼樣。效果廣告是不一樣的,效果廣告通常很直接,你這個人是不是點了,最終 CTR 高不高,最終購買 ROI 高不高,這種一定是你最直接的興趣是什麼,你什麼性別不重要,我就想知道你要不要。
另外一點,直覺未必靠譜,一定要通過反饋來檢測,就是剛才說我們為什麼要數據閉環,比如說,有一個商品設計者說,我這個產品目標是吸引白領女性,實際上他上市場去賣的時候發現,買他的男性大學生最多,跟他想的根本不一樣。
如果你一直持續的給白領女性做廣告投放,實際上效果可能不是最優的,反而你做校園活動會達到更好的效果。
甚至說,你可以基於你的用戶場景做專屬標籤,以及你可以通過人群放大來做處理。舉個例子說,我今天有新的車型上市,一個方法是,先選取對汽車感興趣的人,或者 SUV 感興趣的人,就可以去做投放,這個效果就可能不是最優的,更優的情況是針對你這個 case,去針對性的做訓練,針對性的選取跟你相關的人,通常效果上比通用的標籤選取更好,這時候我建議如果你特別強調你的效果,就去試試訓練專屬的標籤。
更多詳細講解,請見知乎 Live
以上就是本次公開課的關鍵內容,更多演示請點擊「極客公開課•Live」第十四期或掃描下方二維碼查看獲取: