破解YouTube、Facebook推薦系統背後的那些算法

2021-02-24 nginx


     

我之前翻譯過一篇文章《破解 YouTube 的視頻推薦算法》,得到了很多人的好評,在各個算法、大數據公號上紛紛轉載。最初看到這篇文章是@fengyoung 在Facebook上分享的,覺得題目很有意思就看了一遍,看完後感覺很有啟發,遂決定翻譯一下讓更多人看到。

這篇文章內所指的算法包含多個YouTube增長類算法(為你推薦(Recommended),建議觀看(Suggest),相關視頻(Related),搜索(Search),原始評分(MetaScore),等等)。這些不同的算法產品,各有側重,但有一個共同點,那就是它們的優化目標相同,都是觀看時長(Watch Time)。

這篇文章給我的啟發有三方面:

1. 從YouTube平臺的算法設計人員角度,設計繁多的推薦算法,是為了提高頻道的觀看時長,而提高頻道的觀看時長又是為了讓用戶能夠經常訪問平臺。這是一種雙贏的思維,說白了:誰能幫平臺留住用戶,平臺就重點扶持他。

2. 文章得出結論,要做垂直內容才能在YouTube上活下去。平臺上內容越多樣,平臺越健康,這是毋庸置疑的,儘管我贊同這個結論,但是我沒有在本文中看到作者是如何得到這個結論的。這一點就是YouTube和國內視頻平臺最大的差別,國內的視頻平臺嚴重趨同,花高價購買獨家版權似乎是國內視頻平臺的唯一出路,也是一個妖魔化的出路。反觀YouTube,他們利用算法驅使了各個頻道專耕某一個垂直內容,然後把最適合的用戶給你匹配上,這才是更宏大的一盤內容棋。

3. 本文作者給我們了一個啟示,算法並不是黑盒子,是可以hack的,儘管這個也只能hack到冰山一角,但是也比我們盲目地運營要明亮很多了。作者的研究方式,首先是明確了一個平臺的算法目標是什麼,YouTube是watch time,那麼就去觀察這個目標和哪些指標有關,進一步看到每個指標又能怎麼提高。

感興趣的朋友可以搜索著看,我這裡就不過多重複了。


關於Facebook的算法,我在《推薦系統36式》專欄裡都有提到,你也可以看下圖,總結了推薦系統背後的那些算法,都是需要你花時間去學習和實踐的。


             

為什麼會有《推薦系統36式》這個專欄?


最近十年尤其最近五年,藉助推薦系統的技術和名頭,異軍突起的網際網路產品越來越多,Youtube、淘寶、京東、Netflix、今日頭條、Amazon等等這些產品都已經從個性化推薦中嘗到了商業的甜頭。甚至有人說在未來,推薦系統會成為所有數據型產品的標配。


然而推薦系統前方技術蓬勃發展,後方卻落地困難。


審視推薦系統的技術應用現狀,大廠們一騎絕塵,但太多中小廠的工程師們還不知道一個推薦系統如何從 0 到 1 誕生,需要去了解哪些知識。比如有人問我這些問題:


1. 我們產品這個階段需要上線推薦系統嗎?推薦系統前期投入大嗎?

2. 推薦系統這事容易整嗎?裡面那些算法到底是怎麼回事?

3. 搭建一個推薦系統,這裡面有哪些坑?

4. 推薦架構、搜尋引擎和廣告系統之間應該如何協同?

5. 推薦系統相關的開源軟體都有哪些?如何選型?


所以我就順勢寫了一個推薦系統相關的專欄,希望能幫助推薦系統學習者架構起整體的知識脈絡,並在此基礎上補充實踐案例與經驗,力圖解決你系統起步階段 80% 的問題。


下面是這個專欄完結目錄的部分,目前只在極客時間上發布,你需要付費閱讀(在本文最後有相關的二維碼)。


             

             


這個專欄已經完結,作為完結禮物,我特別花了很長的時間給大家整理了一些業界公開的相關讀物,一共有52篇,供想深入閱讀的人繼續學習。有論文形式,網絡文章,演示文稿,還有一些經典書籍,我都都整理在專欄尾篇,記得要看。


             


我的專欄現在正在做拼圖活動,原價68元,拼團價58元,限時拼團3天!

凡購買用戶,還可得到我整理的【52篇推薦系統相關文章】+【推薦系統知識框架圖】。


             

刑無刀是誰?


我是刑無刀,本名陳開江,現在是鏈家網資深算法專家,從事算法類產品的研發。在這之前我曾任新浪微博資深算法工程師,考拉FM算法主管。從業8年時間,我的工作和研究範圍始終沒有超出推薦系統。


這些年,我曾服務過創業公司、傳統大公司和大型網際網路公司,這些經歷也讓我見證了大大小小、形狀各異的推薦系統的構建過程。又因為我基本都從0到1參與了這些公司的推薦系統,所以我也清楚這中間都有哪些坑。


       

相關焦點

  • 如何破解YouTube視頻推薦算法?
    本文翻譯自Frederator Networks的前副總裁Matt Gielen,相信能夠讓你對Youtube背後的算法略知一二。陳開江@刑無刀,個性化推薦產品技術愛好者和從業者。為個性化推薦付出了這些的青春:0)讀研研究NLP(句法分析方向);1)新浪微博資深推薦算法工程師,先後負責微博反垃圾、基礎數據挖掘、智能客服平臺、個性化推薦等產品的後端算法研發;2)考拉FM算法主管,為考拉FM從0構建了個性化音頻推薦系統;3)「邊逛邊聊」app(原名wave)聯合創始人兼技術負責人。
  • 破解 YouTube 的視頻推薦算法
    開始之前,先明確一下:這篇文章內所指的算法包含多個YouTube增長類算法(為你推薦(Recommended),建議觀看(Suggest),相關視頻(Related),搜索(Search),原始評分(MetaScore),等等)。這些不同的算法產品,各有側重,但有一個共同點,那就是它們的優化目標相同,都是觀看時長(WatchTime)。
  • 資源 | 主要推薦系統算法總結及Youtube深度學習推薦算法實例概括
    為使其簡單化,Statsbot 團隊為現有的主要推薦系統算法準備了一份概述。協同過濾協同過濾(CF)及其變式是最常用的推薦算法之一。即使是數據科學的初學者,也能憑之建立起自己的個性化電影推薦系統,例如,一個簡歷項目。
  • 為了讓人們更容易上癮,YouTube正嘗試新推薦算法
    推薦算法是當今最強大的機器學習算法之一,因為它們決定了我們看到的信息。YouTube的推薦算法影響力尤其巨大。據估計,該平臺在網絡流量方面僅次於谷歌,70%的用戶觀看的內容是通過推薦算法提供給他們的。近年來,這種影響受到了密切關注。
  • 全球主流社交媒體算法解析:Facebook、YouTube、Twitter等平臺如何...
    用戶的積分(頁面的完整性,共享歷史等)是排名因素被用戶分享並引起進一步討論的品牌或發布者內容將獲得優先推薦Facebook算法將優先推薦實況視頻,因為它會收到更多互動比起第三方連結帖子,本地視頻帖子會獲得更多的參與度參與度的計算將基於積分系統帶有長評的帖子將獲得更高的權重本地內容優先於第三方連結內容
  • Bandit算法與推薦系統
    最好的辦法是去試一試,不是盲目地試,而是有策略地快速試一試,這些策略就是Bandit算法。這個多臂問題,推薦系統裡很多問題都與它類似:假設一個用戶對不同類別的內容感興趣程度不同,那麼我們的推薦系統初次見到這個用戶時,怎麼快速地知道他對每類內容的感興趣程度?這就是推薦系統的冷啟動。
  • 全球主流社交媒體算法解析:Facebook、YouTube、Twitter如何利用...
    >日新月異的社交媒體算法早期社交媒體的目的是為那些在現實生活中無法聯繫的人們提供一個線上聯繫的渠道。這意味著,Facebook算法現在將優先考慮推薦一些可以引起朋友和家人討論的內容,而不是標題黨內容和第三方連結。
  • 推薦系統產品與算法概述
    下面圖1是電視貓(一款基於OTT端[智能電視或者智能盒子]的視頻播放軟體)的推薦系統的業務流程,包含召回、排序和業務調控三大算法和策略模塊,可以作為大家設計推薦系統算法模塊的參考。本文只講解召回、排序兩個階段涉及到的算法,業務調控跟具體業務及公司運營策略強相關,本文不做過多描述。
  • 為什麼YouTube懂你想要看什麼?從算法論文反推其推薦機制...
    為什麼用戶一上youTube就黏住了,這背後到底下了多大的功夫研究人性的細節?如此海量的數據,如何精準地推送給每一個恰當的人?本文是YouTube在推出關於自家推薦系統的論文後,作者對其的驗證、補足和進一步解析。
  • YouTube深度學習推薦系統的十大工程問題
    文 | 王喆源 | https://zhuanlan.zhihu.com/p/52504407這篇文章主要介紹了YouTube深度學習系統論文中的十個工程問題,為了方便進行問題定位,我們還是簡單介紹一下背景知識,簡單回顧一下YouTube的深度推薦系統論文Deep Neural Networks
  • 推薦系統丨YouTube召回模型設計
    隨著網際網路行業的高速發展,人們獲取信息的方式越來越多。人
  • 用DNN構建推薦系統-Deep Neural Networks for YouTube Recommendations論文精讀
    基本上算是世界範圍內視頻領域的最大的網站了,坐擁10億量級的用戶,網站內的視頻推薦自然是一個非常重要的功能。本文就focus在YouTube視頻推薦的DNN算法,文中不但詳細介紹了Youtube推薦算法和架構細節,還給了不少practical lessons and insights,很值得精讀一番。下圖便是YouTube APP視頻推薦的一個例子。
  • 花費百萬的Netflix推薦系統,有那些值得借鑑的特性
    他們算法是怎麼做到的呢,讓我們留個懸念,文章結尾再做說明。而通過這次百萬大獎賽,netflix升級了自家網站的算法,在工程師中塑造了財大氣粗的大公司形象,發掘了無數優秀算法人才,可謂一舉多得。更重要的是,它向用戶普及了「推薦」這個概念,並在用戶心目中將推薦這個概念與netflix網站劃上了等號,從此用戶使用netflix時對它的推薦系統有了更直觀的價值參照物——一百萬美金,天然產生信任感和參與感,不可不謂高明之至。下面,就讓我們看看,netflix耗時三年開發、花費百萬、吸引無數業界精英關注的推薦系統都有哪些特性。
  • 如何下載Youtube視頻
    本文主要簡短告訴大家如何下載youtube的視頻,有時會看到很多比較不錯精彩的Youtube視頻內容,不知道如何下載跟保存。首先點擊滑鼠右鍵,複製視頻網址,粘貼到https://en.savefrom.net/,可以直接下載 也可以下載facebook跟Instagram等很多App的視頻,都是點擊右鍵,複製視頻網址。
  • Facebook Home破解任意安卓手機可安裝 附教程
    本次發布的破解無需root權限,除非用戶的設備預裝了Facebook應用。如果沒有的話,用戶只需下載修改後的APK文件,卸載Facebook和Facebook Messager兩個應用(如果原先安裝了的話),然後按順序安裝下載的APK文件:首先是官方Facebook應用,然後是修改版的Home以及Messager(可選)。最後在Facebook應用設定中啟動Home,重啟設備即可。
  • 人工智慧推薦算法系統實戰之ContentBase文本挖掘算法策略
    推薦系統是一個完整的系統工程,從工程上來講是由多個子系統有機的組合,比如基於Hadoop數據倉庫的推薦集市、ETL數據處理子系統、CF協同過濾、contentbase文本挖掘算法策略、離線算法、準實時算法、多策略融合算法、緩存處理、搜尋引擎部分、二次重排序算法
  • 推廣Youtube頻道的13種方法
    在開始使用社交媒體吸引youtube粉絲前,最好先研究一下社交媒體的人群特性,看看它們是否和你的頻道的受眾契合。你可能希望充分利用每一個社交平臺來推廣,最大可能的將他們吸引到你的youtube頻道來,但是做好每一種社交媒體的推廣都是需要花費很多的精力和時間的,而且很難保證你的努力一定會有預期的效果。
  • 抖音海外版到底錯在了哪裡,Facebook到底在害怕什麼
    facebook 之所以窮兇極惡的要想盡一切辦法弄死抖音海外版,是因為抖音海外版比谷歌系的youtube更有殺傷力。Facebook不論有多少人在上,客觀上是落後的社交APP生態,就算Facebook不承認,也是如此的。
  • 重讀 Youtube 深度學習推薦系統論文,字字珠璣,驚為神文
    這裡是王喆的機器學習筆記,每隔一到兩周我會站在算法工程師的角度講解一些計算廣告、推薦系統相關的文章。
  • FaceBook推薦好友精準嗎?
    其實這個問題有點白痴,我們都知道facebook推薦系統,非常的強大。