破解YouTube、Facebook推薦系統背後的那些演算法

演算法與數學之美發表於2018-09-20

最初看到這篇文章是@fengyoung 在Facebook上分享的,覺得題目很有意思就看了一遍,看完後感覺很有啟發,遂決定翻譯一下讓更多人看到。


這篇文章內所指的演算法包含多個YouTube增長類演算法(為你推薦(Recommended),建議觀看(Suggest),相關視訊(Related),搜尋(Search),原始評分(MetaScore),等等)。這些不同的演算法產品,各有側重,但有一個共同點,那就是它們的優化目標相同,都是觀看時長(Watch Time)。


 這篇文章給我的啟發有三方面:

1. 從YouTube平臺的演算法設計人員角度,設計繁多的推薦演算法,是為了提高頻道的觀看時長,而提高頻道的觀看時長又是為了讓使用者能夠經常訪問平臺。這是一種雙贏的思維,說白了:誰能幫平臺留住使用者,平臺就重點扶持他。

2. 文章得出結論,要做垂直內容才能在YouTube上活下去。平臺上內容越多樣,平臺越健康,這是毋庸置疑的,儘管我贊同這個結論,但是我沒有在本文中看到作者是如何得到這個結論的。這一點就是YouTube和國內視訊平臺最大的差別,國內的視訊平臺嚴重趨同,花高價購買獨家版權似乎是國內視訊平臺的唯一出路,也是一個妖魔化的出路。反觀YouTube,他們利用演算法驅使了各個頻道專耕某一個垂直內容,然後把最適合的使用者給你匹配上,這才是更巨集大的一盤內容棋。

3. 本文作者給我們了一個啟示,演算法並不是黑盒子,是可以hack的,儘管這個也只能hack到冰山一角,但是也比我們盲目地運營要明亮很多了。作者的研究方式,首先是明確了一個平臺的演算法目標是什麼,YouTube是watch time,那麼就去觀察這個目標和哪些指標有關,進一步看到每個指標又能怎麼提高。


感興趣的朋友可以搜尋著看,我這裡就不過多重複了。


關於Facebook的演算法,我在《推薦系統36式》專欄裡都有提到,你也可以看下圖,總結了推薦系統背後的那些演算法,都是需要你花時間去學習和實踐的。


       640?wx_fmt=jpeg      

為什麼會有《推薦系統36式》這個專欄?


最近十年尤其最近五年,藉助推薦系統的技術和名頭,異軍突起的網際網路產品越來越多,Youtube、淘寶、京東、Netflix、今日頭條、Amazon等等這些產品都已經從個性化推薦中嚐到了商業的甜頭。甚至有人說在未來,推薦系統會成為所有資料型產品的標配。


然而推薦系統前方技術蓬勃發展,後方卻落地困難。


審視推薦系統的技術應用現狀,大廠們一騎絕塵,但太多中小廠的工程師們還不知道一個推薦系統如何從 0 到 1 誕生,需要去了解哪些知識。比如有人問我這些問題:


1. 我們產品這個階段需要上線推薦系統嗎?推薦系統前期投入大嗎?

2. 推薦系統這事容易整嗎?裡面那些演算法到底是怎麼回事?

3. 搭建一個推薦系統,這裡面有哪些坑?

4. 推薦架構、搜尋引擎和廣告系統之間應該如何協同?

5. 推薦系統相關的開源軟體都有哪些?如何選型?


所以我就順勢寫了一個推薦系統相關的專欄,希望能幫助推薦系統學習者架構起整體的知識脈絡,並在此基礎上補充實踐案例與經驗,力圖解決你係統起步階段 80% 的問題。


下面是這個專欄完結目錄的部分,目前只在極客時間上釋出,你需要付費閱讀(在本文最後有相關的二維碼)。


       640?wx_fmt=jpeg      

       640?wx_fmt=jpeg      


這個專欄已經完結,作為完結禮物,我特別花了很長的時間給大家整理了一些業界公開的相關讀物,一共有52篇,供想深入閱讀的人繼續學習。有論文形式,網路文章,簡報,還有一些經典書籍,我都都整理在專欄尾篇,記得要看。


       640?wx_fmt=jpeg      


我的專欄現在正在做拼圖活動,原價68元,拼團價58元,限時拼團3天!

凡購買使用者,還可得到我整理的【52篇推薦系統相關文章】+【推薦系統知識框架圖】。


       640?wx_fmt=jpeg      

刑無刀是誰?


我是刑無刀,本名陳開江,現在是鏈家網資深演算法專家,從事演算法類產品的研發。在這之前我曾任新浪微博資深演算法工程師,考拉FM演算法主管。從業8年時間,我的工作和研究範圍始終沒有超出推薦系統。


這些年,我曾服務過創業公司、傳統大公司和大型網際網路公司,這些經歷也讓我見證了大大小小、形狀各異的推薦系統的構建過程。又因為我基本都從0到1參與了這些公司的推薦系統,所以我也清楚這中間都有哪些坑。


掃碼立即訂閱

640?wx_fmt=png

相關文章