工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

愛奇藝技術產品團隊發表於2020-07-15

在愛奇藝業務生態裡,“使用者”和“內容”是兩個核心詞彙,虹吸了我們大量的時間和精力。查同學所在的推薦團隊,就是利用機器學習技術為使用者找到其感興趣的內容,為內容找到可能對其感興趣的使用者。這簡單的原理背後卻是極複雜的演算法計算和海量的資料處理,是使命中的“讓快樂簡單”。

接下來,就讓我們聽聽查同學和他推薦演算法的故事吧。


查同學2014年加入愛奇藝推薦團隊,這6年來一直在做推薦演算法工作,做推薦演算法,就是要設計大量高效、優雅和奇妙的演算法,並利用演算法更快更準確地計算出影片的屬性、使用者的屬性,並在特定的環境下從海量資訊中篩選和推薦出使用者感興趣的內容。

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

(圖為:推薦演算法演示圖)

從離線推薦到線上推薦,讓使用者快樂更簡單
“快”是推薦演算法所追求的,早期時我們使用的還是離線推薦框架與業務剛剛興起的資訊流模式下的線上推薦相比,相當於腳踏車遇到了汽車,速度不是一個量級的。於是,我們開始研究升級我們的技術架構當時業界還沒有特別成熟的實踐案例做參考,我們只能一步步地摸索
記得上線初期,由於QPS(Queries-per-second,每秒查詢率)高、更新頻繁,線上介面訪問資料庫,在高峰期時有大約4%的超時率,這對我們線上服務造成非常大的壓力。我們當時從各種維度去分析效能的瓶頸,從資料來源頭做預處理、資料庫分庫、主從備份、引入二級快取、使用者ID hash分流等各個維度去嘗試最佳化。最終將線上服務的高峰期超時率控制在0.3%以下。
當時,只有3個同學線上推薦,但最終透過大家的努力和公司各部門支援,我們幾經迭代,將小時級別的推薦頻率提高到十幾秒,又提高到幾秒,最後實現實時線上推薦。

這也就意味著,你隨時可以重新整理出當下最感興趣的影片內容,而你每一次行為也直接影響著下一次重新整理出的內容。當下這個進步還是非常明顯的

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

(圖為:推薦框架簡圖)
使用者線上實時重新整理的背後,是我們實時地採集、清洗、儲存海量的資料的努力我們需要對使用者觀看的影片內容進行實時分析,也需要給使用者實時打上更多標籤以識別使用者偏好,然後對使用者和內容進行實時匹配。
要求我們有足夠強大的底層技術框架、資料管理和運算能力為此,我們的資料分析從線下手動模式轉化為線上自動模式,又升級為單獨的資料中臺,架構也從傳統的MR陸續升級為實時的kafka、spark-streaming、flink

目前我們已經能支援每秒處理幾十萬條資料的需求,實現了讓使用者興趣實時更新向使用者推薦內容精準,也就是說我們更懂使用者了。

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

圖為:使用者畫像演示
內容推薦不僅個性化,更要多樣化
努力避免使用者對特定內容的過度沉浸,這是我們對使用者負責任的體現之一
使用者喜歡看什麼,我們就推薦什麼,這是個性化推薦,使用者可能喜歡什麼,我們推薦什麼,這是多樣化的推薦。我們會基於對使用者理解,推薦給使用者那些可能感興趣的內容,幫助使用者探索多元化的興趣,讓生活更精彩

當你偶爾疑惑,為什麼推薦給我某個內容時,你的興趣或許會因此而更加多元了哦

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

(圖為:線上推薦互動示意圖
私域流量:讓UP主和粉絲“一家親”

社群化是隨刻發展的重要方向,我們不單純地追求高流量,也會追求打造UP主與使用者之間的生態平衡。為此,我們嘗試利用推薦演算法把粉絲與UP主更緊密的連線起來,促進社群互動,提高私域流量。

在個性化推進時,如果你關注了某個UP主,我們會推薦同型別的UP給你UP主釋出內容,我們會新內容推送給你的觀看、點贊評論、轉發讓UP更有創作動力,同時也會豐富你的社交圈,打造良好的社群生態

當然,我們會重點推薦高品質、正能量的內容給使用者,這也是愛奇藝願景中“偉大”內涵在演算法上的具體體現。

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

(圖為:隨刻UP主頁介面)
在一個季度的私域流量的最佳化之後,隨刻資訊流的私域流量曝光佔比提升了127%,私域的消費時長也提升了37%滿足使用者的私域需求同時,也提升了創作者的創作動力。
推薦技術的持續迭代中,我在工作上也從技術小白到了技術大白,感謝公司給我不斷學習試錯和持續積累的機會在這一過程中,我有兩個重要感悟分享給大家。
做事情之前,多問為什麼

不管做什麼工作我都習慣性為什麼?背景是什麼?目標是什麼?很多時候捋清楚做什麼,我們才知道怎麼去做

現在帶領幾個同學一起工作,在和大家討論工作時,我也努力讓團隊同學知道,他做每一件事情的原因、接的每一個需求的預期,同時讓合適的人做合適的事。希望大家可以乾的開心,有所成長

工程師訪談 | 在這6年裡,我們為使用者做了一件有意義的事

(圖為:團隊合影)

技術不掉隊,管理不純粹

做技術工作的,必須保持好奇心,追求新鮮感需要緊跟技術前沿,確保技術不掉隊。在資訊獲取相對容易的今天,平時喜歡看看論文,逛逛技術論壇,保持專業技術上的持續學習

對於技術管理者而言,也要緊跟技術發展,不做純粹的管理長久脫離一線很難把握技術團隊的方向這也是我個人的經驗總結。

六年前,愛奇藝還是行業追隨者六年後,我們已經在一些方向上引領這個行業,這是一件令人自豪的事情期待公司未來發展越來越好

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69945252/viewspace-2704724/,如需轉載,請註明出處,否則將追究法律責任。

相關文章