雲音樂影片搜尋最佳化之旅

作者：卉芸

1. 業務簡介與分析

1.1 業務剖析

談到搜尋，大家日常生活已離不開此功能，例如通用搜尋引擎Google百度，購物時的電商搜尋，聽歌時的音樂app搜尋等。在不同的業務場景下，搜尋的業務本質與目標也有著很大異同。在電商場景下，搜尋本質上是非精準導向的，因為滿足使用者query意圖的商品候選量級極大，個性化的作用極大的被彰顯，在query理解、召回及排序的各個環節，個性化都是必不可少的考量因素；此外，使用者的query與商品的title存在明顯的語義gap，商家多采用屬性堆砌的方式來構成標題，導致與使用者的表達方式差異較大；最後，演算法的最佳化目標也非常清晰單一，即gmv及成交筆數。

在雲音樂搜尋業務中，候選資源種類繁多，涵蓋藝人、單曲、歌單、影片、播單等多種異構資源，混排面臨更多的挑戰；同時，對於藝人及歌曲的搜尋，更偏向於精準化導向，滿足使用者意圖的候選往往個數較少，對準確性要求極高，但在影片及歌單搜尋中，又更具備非精準性，滿足使用者query的候選多，故結果的個性化與多樣性更需要被保障；對於不同的資源型別，演算法的最佳化目標也不盡相同。

影片資源作為一種多模態的資源型別，在音樂搜尋中，有著自己的獨特性：
（1）內容理解難：影片的標題及描述並不能反應影片的全部內容，視音訊模態的資訊補充非常關鍵；描述文字傾向於自然語句，而非結構化的屬性標籤，長度也長短不均；資訊抽取與語義表徵難度高，使用者query與影片相關性建模更為艱鉅。
（2）相關性要求高：當使用者搜尋單曲無版權時，可能會到影片頁查詢資源。有些搜尋query存在歧義，例如抖音火爆的歌曲“會不會”，僅透過文字詞級別的匹配，會得到大量不相關的影片資源，故需要結合使用者的真實意圖來確保結果的相關性。
（3）時效性強：使用者對熱點內容需求較大，新熱上升影片應該具備更多的曝光流量，例如“蜜雪冰城”搜尋結果下，應該將最近較火的日文改編版往前排。搜尋結果的時新性對使用者的體驗至關重要，實時的特徵對排序效果影響較大。
（4）最佳化目標多：影片總體指標如下圖所示，其中點選率和有效率，是最基礎的最佳化目標，影片的播放時長佔比、點贊率、收藏率、轉發率也很重要，它們能更好的激勵影片生產者創作，並和影片消費者形成更緊密的互動，利好整個影片生態。

1.2 演算法體系

如上圖所示，影片搜尋的整體演算法體系可以分為五大模組：query理解模組、召回&擴召回模組、相關性模組、排序模組及重排策略模組。

資料探勘提供基礎的資料支撐，包括新詞發現、同義詞挖掘、標籤挖掘等，透過離線方式定時更新底層資訊庫，同時服務於影片理解模組。query理解作為初始環節，包攬了文字歸一化、糾錯、詞權重分析、實體及屬性抽取、意圖識別等功能，從使用者不規則的輸入文字中，獲取到核心結構化資訊，送入後續模組進一步處理。

召回部分可細分為兩塊，基礎的文字搜尋引擎和多路擴召回，搜尋引擎結合緊密度、熱度、tf-idf等特徵給出候選粗排分數。擴召回可細分為兩大型別：query改寫多路及向量召回，前者透過顯式的構建同義query召回更多滿足語義的影片，具備更好的可解釋性和可控性，後者利用模型泛化性隱式的召回相關影片，會帶來一些驚喜的結果。相關性模組用於衡量使用者query和影片的相關程度，能保障使用者的搜尋體驗，搜尋query和影片文案存在天然的語義gap，同一query在不同的場景下存在歧義，如何定義雲音樂場景下的相關性並進行語義消歧，十分重要。

排序部分包含特徵與模型的構建，基於雲音樂自研的snapshot平臺，可以便捷的構建無特徵穿越的實時樣本，進行線上特徵抽取及資料落盤，模型經歷了單目標到多目標的最佳化迭代。重排和策略是最後的一環，負責結果的多樣性打散及可解釋性文案的組裝，也支援運營的case干預。

雲音樂的影片搜尋之前一直處於基礎版本階段，演算法層面未經歷迭代最佳化。文字將結合上述重難點，具體從搜尋相關性和排序來闡述下最佳化的方案與成效。召回部分會提供一個簡要的技術分享，不作為本文的重點。

2. 相關性

相關性是搜尋流程中十分重要的模組，它負責確保搜尋出來的結果和搜尋query是相關的，“相關”不僅體現在word-level的匹配上，也體現在semantic-level層面，它是一種使用者的主觀感受，缺乏一個通用的客觀標準。
在不同業務場景下，搜尋相關性的定義是不同的，需要根據具體的業務認知，給出符合使用者體驗的檔位定義。有別於ctr任務，相關性天然缺失樣本標籤，是否點選不能用於直接衡量query與item的相關性，因為使用者的點選行為還會受到活動、位置、新奇等其他因素的影響，因此需要根據相關性準則，進行人工資料的標註，但是深度模型的訓練依賴大量的標註樣本集，不可能全部由人工來標註。在模型層面，大家熟知的文字匹配領域內的模型，比如representation-based和interaction-based模型，都可以遷移用於query和item的相關性建模，但考慮到線上inference的效率和rt限制，需要在效果和效率上進行折中。
如何利用有限的人工標註集，採用弱監督的方式構建一個高效的線上模型，是該任務的挑戰所在。

2.1 定義與評估

在雲音樂搜尋場景下，我們根據音樂領域內關聯知識和使用者的常見的意圖種類，將相關性分拆為以下三個子維度：

• 文字相關性

  • 指搜尋結果中包含搜尋query，即term匹配，搜尋結果中包含query中的核心詞彙

• 語義相關性

  • 指搜尋結果與query語義相關，可以寬泛認為是常識相關，如歌手名和單曲名、專輯名、風格型別、國家語言、節目、平臺等相關
  • 例如 “晴天” vs “周杰倫”、“劉德華” vs "四大天王"、“會不會” vs "小樂哥"、“會不會” vs "陳綺貞"、“劉聰” vs "中國有嘻哈"

• 意圖匹配

  • query中包含具體歌曲、藝人、歌單、專輯、歌詞等實體意圖時，資源中對應意圖也該一致
  • 例如：”周杰倫 晴天” vs "影片（xx翻唱 晴天）"，這種情況認為是意圖不一致，使用者想搜的應該是 周杰倫演唱或者出演的晴天

結合以上三個子維度，我們將音樂相關性定義為四個檔位，具體為：

• good檔位（最相關檔位）

  • term匹配 & 語義相關 & 意圖匹配：示例：query（周杰倫 晴天） | 單曲（周杰倫-葉惠美-晴天）、query（周杰倫 晴天） | video（周杰倫演唱會live現場演唱《晴天》
  • 特殊說明：對於藝人，例如 hehe vs 田馥甄，雖然term不匹配，但的確是同一個人，這種case也屬於good檔位

• fair-good檔位（次相關檔位）

  • term不匹配 & 語義相關 & 意圖匹配：示例：query（hebe）| 藝人（S.H.E）
  • term不匹配 & 語義相關 & 意圖不匹配：示例：query（周杰倫 晴天）| 影片（xx翻唱 晴天）
  • term匹配 & 語義相關 & 意圖不匹配：示例：query（晴天）| 影片（xx翻唱 晴天）

• fair-fair檔位（中立檔位）

  • term匹配 & 語義不相關 & 意圖匹配：示例：query（晴天）| 單曲（我的新鮮女友晴天版）
  • term匹配 & 語義不相關 & 意圖不匹配：示例：query（晴天）| 影片（冰菓動漫剪輯）

• bad檔位（完全不相關檔位）

  • term不匹配 & 語義不相關：示例：query（晴天）| 歌曲（阿桑-受了點傷-葉子）

有了明確的檔位定義後，在使用者的歷史點選日誌中，篩選了萬級別的樣本進行人工標註，這部分資料可以用來finetune模型，也可以用於評估相關性模型的效果。因為音樂場景下的item分為多種資源型別，在影片標註時，以文字標題作為主要考量因素，影片文字標籤作為輔助因素。在真實的檔位分佈中，fair-fair檔位佔比較低，在評估模型效果時，將good和fair-good視為1，bad視為0，則可以作為二分類問題來計算auc指標。

2.2 模型選型

相關性的建模在業記憶體在多種方式，如下圖所示，大致可以分為四種型別，基礎的文字相關性模型、屬性相關性模型、語義相關性模型和行為相關性模型。綜合四種不同方式獲取的相關性分數，還可以構建一個頂層的綜合相關性模組，採用整合的方式，獲取最終的相關性分數或檔位。

文字相關性，在詞級別分析query與doc間的相關程度。針對使用者輸入的query，進行分詞，再基於如BM25等演算法計算相關性，如緊密度是衡量term之間距離的一種方式。這種方式可以無縫對接搜尋引擎，啟動快，但是無法解決消歧和語義相似的問題。

屬性文字相關性，是將query和doc進一步進行屬性的抽取與分析，在同屬性維度下判別是否相關，然後綜合各維度，得到最終相關性分數。這種方式可解釋性強，但是對屬性抽取的準確度要求高，同時需要挖掘屬性下的同義詞表，才能獲取更好的語義相關性。

語義相關性，採用深度模型來對語義建模，打破term層面的字面匹配限制，並能一定程度解決消歧問題，具備良好的泛化性。近年來NLP模型的迅猛發展，文字語義建模的方案層出不窮，文字匹配領域內的模型都可以拿來借鑑使用。由於工業界對線上rt有較高的要求，複雜的互動式模型太重，不適合大規模上線使用，同時訓練樣本集的構建也非易事。

行為相關性，是指透過使用者搜尋後的點選、有效消費等一系列行為，採用無監督的學習方式，在點選圖上進行資訊的傳遞，來挖掘query與doc的相關性。該方式由Yahoo在網頁搜尋中率先提出[1]，演算法將query和doc透過詞向量傳遞，將兩者變換到同一語義空間中，從而方便得到相關性的相似度計算。點選圖的效果魯棒性強，在頭部query和doc上表現較好，但是在長尾資料上表現不佳。

2.3 生效方式及實戰

得到query與item的相關性分數或檔位後，該如何應用到排序流程中呢。如下圖所示，相關性模組除了輸出相關分數外，還可以產出query向量、item向量（限於雙塔模型），在召回中派上用場。可以用作一路語義向量召回，也可以在query改寫的召回階段用於尋找相似query候選。排序中，語義向量和相關性分數可以拿來作為特徵使用。

在雲音樂場景下，我們在引擎粗排中融入了緊密度特徵，並構建了融合屬性維度的語義相關性模型，也嘗試了點選圖模型的實驗，以下做以介紹。

• 語義相關性模型 - Aspect Relevance Model

訓練深度模型需要大量的樣本資料集，單個使用者的點選與否不能直接當成正負樣本，參考電商語義相關性模型[2]，我們計算了query和item之間的平均ctr，並劃分為高ctr、中ctr和低ctr三個區間。我們認為在同一query下，ctr高的item相關性是要好於低ctr的，因此得到了一個分層次的監督學習資料集。在構建負樣本時，我們採用了隨機取樣的方式獲取簡單的負樣本，同時，也透過正樣本中某些NER詞彙的替換改寫，構建了一批難學的負樣本，由此增強模型的區分能力。

線上模型結構如上圖所示，為了線上效能的最佳化，採用基礎的雙塔結構。底層共享詞的embedding，在每個encoder側，不僅對query/item進行原始文字的資訊編碼，也對NER抽取的片語資訊進行encoding。對於每個維度的語義資訊，採用基於CNN的self-attention方式獲取深層的語義表徵，如果採用多個卷積核，可以得到多組的query或維度文字的向量表示。計算query與item的相關性分數時，採用弱互動的方式，對向量進行求和、求差、拼接三個操作後，送入全連線層，經過max-pooling和sigmoid獲取最終的相關性分數。在影片場景下，除文字資訊外，還有影像、音訊資訊，可以將影像向量視為一個語義維度，使用tensor fusion進行向量的外積融合，這種方式對於多模態資訊的融合更充分，效果優於直接concat。

在loss的構建上，根據分層的ctr樣本定義了一種pointwise的loss形式

• 點選圖模型 - Click Graph Model

使用者的點選日誌蘊含著豐富的資訊，點選圖模型利用二部圖的資訊傳導，從相似的query/item中提取term來豐富當前節點的term表達。我們採用近三月的搜尋點選日誌，構建了query和item的圖，其中item包含多種資源，單曲、藝人、歌單、影片等。針對不同的資源型別，選取不同的元欄位資訊來做文字的表徵，比如影片型別，除了標題資訊外，還採用了內容描述標籤資訊，在分詞階段，接入了雲音樂專屬的業務詞典，避免將歌曲名、藝人名切分錯誤，同時過濾掉無意義的停用詞。節點之間的權重採用了點選率，相比點選次數，點選率更能反應query與item的相關程度。

query和item間的向量迭代沿用了Yahoo文中的計算方式，每次迭代後在人工評測集上計算auc，選取最高auc對應的迭代向量，作為最終的詞袋結果。下圖給出了一個case結果，“陳奕迅”及兩個對應的影片的最終的迭代向量中，包含了相關的歌曲詞彙及藝人詞，有一定的可解釋性。得到詞袋向量後，需要⼀個合適的度量⽅法來計算相似度，我們實驗了兩種種⽅式：cosine相似度和kl散度KL(Q||I)。為減少計算量，對詞袋向量作了⻓度截斷，僅保留top20個詞。在同一份人工評測集上，採用kl散度的相關性分數，auc可以達到0.768，效果要好於finetune之前的語義相關性模型。

點選圖方法計算簡單有效，是一種魯棒性很強的相關性演算法，對於沒有點選行為的query和item，Yahoo提出可以將文字拆解為n-grams，學習n-grams的向量表達和權重資訊，解決中長尾無表達的問題。因為query側的詞袋向量表達中，會迭代出相關性較強的詞彙，我們選出了tag query下的詞袋資訊進行觀察，如下圖所示，第二列的詞袋詞彙中可以挖掘出很多相關詞，這部分進行人工稽核後，可以補充到同義詞典中。

實際使用中，我們將相關性應用到影片排序階段，最終線上有點率提升1.5%，有效有點率提升2.3%。在影片8.0版本人工測評中，相關性及高質量召回case數量比7.0增加23%。以下給出一個相關性最佳化的結果展示。

3. 召回及排序

召回和排序是搜推演算法中傳統的兩個模組。召回需要處理的候選集量級極大，線上響應的時效要求高，因此不能採用複雜結構的模型。排序階段又可以細分為粗排和精排，在精排階段，一般只需對上百個item進行打分，為了更準的呈現使用者想看的結果，對模型的準確性要求較高，故需要在特徵上做更精細化的處理，並採用更復雜的模型來擬合資料分佈。

3.1 多路召回

在影片召回中，我們擬定了四大類召回方式：基礎文字召回、query改寫多路召回、向量召回、個性化召回。在基礎的文字召回基礎上，為了能召回更多語義相關的候選影片，構建了顯式的query改寫召回和隱式的向量召回。為了更好地滿足使用者個性化體驗，也單獨構建了個性化召回鏈路。

query改寫的流程可細分為召回與判別兩部分。在召回環節，可透過語義embedding相近、同session下query挖掘、近義詞替換等方式，尋找與query同義或近義的query候選。在判別環節，構建語義相似度模型，衡量兩個query是否語義相同，由於改寫的資料可以離線生成好供給線上使用，所以複雜的互動式模型如bert，都可以派上用場。業務中標註樣本成本較高，今年發表的simCSE[3]和R-drop[4]模型，也非常適合用在工業場景中。

根據建模方式的差異，可將向量召回分為如下圖幾類。近年來的文獻中，向量召回在推薦領域內的進展較多，對user和item的建模方案，可以酌情遷移到query和item上。搜尋業務上，Facebook去年的工作EBR[5]和Baidu的Mobius[6]也有很強的借鑑意義，ebr從樣本取樣到系統層面給出了詳細的實踐經驗與實驗分析，mobius結合搜尋相關性最佳化ctr模型。召回的模型一般採用雙塔的結構，方便離線生成query和item側的向量，接入線上的高效向量檢索流程。

召回在模型上沒有太多花樣可玩，傳言道，如果說排序是特徵的藝術，那麼召回就是樣本的藝術，特別是負樣本的藝術。召回層面的目標就是將與query相關的item召回，不相關的剔除，直接採用ctr的點選與否作為學習樣本，顯然是不合適的，這是因為召回所面對的百萬、千萬級的候選item，絕大多數是從未被曝光過的。全域性負樣本取樣也存在一定問題，隨機取樣的樣本過於簡單，沒有難負樣本，模型難只能學習到粗粒度上的item區別，無法感知細微的差異。阿里在去年發表的ESAM[7]，嘗試用一種新的視角解決Sample Selection Bias問題，將曝光過的樣本點選label，遷移學習到未曝光的item域上，可以獲取全域性的item標籤。

搜尋中的個性化召回部分，理論上有兩種方式可做，一種是使用基於trigger的傳統方式進行U2I的召回，接著過一個query的相關性判別；一種是將使用者特徵融入到深度召回模型中。前者的效率會比後者差，所以我們先計劃嘗試使用者特徵的引入，向量召回部分目前仍在最佳化推進中，在此不作為重點具體展開闡述。

3.2 排序

(1) 排序特徵體系

影片精排用到的特徵彙總如上，涉及到query維度、影片維度和使用者維度。除了靜態類的屬性特徵外，還有T+1的統計類特徵，以及基於實時計算平臺magina開發的實時特徵。時效性對影片排序尤為重要，實時類的特徵必不可少，此外，借鑑Youtube在推薦系統中的做法，引入影片example age特徵（當前時間-播放該影片的取樣日誌時間）將新影片和訓練影片進行區分，可以進一步緩解新熱問題。在影片內容的理解與表徵上，我們和行研的影像演算法團隊合作，提取影片的內容標籤，比如藝人資訊、風格資訊等，用於完善影片資訊。為了刻畫影片的質量，採用了解析度、時長和稽核狀態特徵。影片tab頁中，單列流模式下，一屏只展示2個影片，使用者的點選行為會因為position產生比較大的偏差，為了消除位置偏差的影響，我們也加上了position特徵。

定義好特徵並實現特徵抽取運算元後，基於雲音樂自研的snapshot實時樣本平臺，可以便捷的獲取線上樣本的特徵資料，並進行實時樣本的落盤，用於模型的實時訓練。snapshot平臺可以避免特徵穿越問題，並保證線下與線上的一致性，為演算法效果提供了強有力的保障[8]。

特徵處理部分，也有一些技巧可言。對於id型別特徵，為了緩解冷門id訓練不充分，我們構建了id詞典，將出現頻次少的id對映到同一編碼上。處理連續數值型的統計類特徵時，區間分桶受統計值變化影響較大，故採用log軟分桶，可以使連續特徵離散化，同時受統計值變化影響小。計算率值特徵時，如果直接計算點選率，對於統計資料較少的曝光和點選，容易出現高估的問題，需要做統計平滑處理。常見的平滑方式有威爾遜區間法、EM平滑、貝葉斯平滑[9]，實踐中發現貝葉斯平滑效果最好，離線auc漲了千分之一個點。特徵交叉在傳統的機器學習中，往往透過人工的方式進行，近年來的深度模型已具備自動特徵交叉的功能，能更高效的捕獲特徵間的關聯[10]。

(2) 排序模型：單目標到多目標

影片排序單模型，目標是提升點選率ctr。我們嘗試了從無模型（策略分）到deepFM模型的演進，deepFM取得了離線最高auc，上線後點選率也提升了5%。影片一期排序中，尚未考慮個性化因素，使用者建模的模型還有待探索實驗，基於attention思想的DIN和DIEN模型，是後續嘗試的方向。

影片業務指標多，針對多指標最佳化的多目標模型必不可少，我們的精排大模型框架如下所示。圖中示意了兩個搜尋的基礎核心目標，點選率ctr和有效轉化率cvr，影片場景下我們認為影片消費時長大於一定閾值則是有效消費。任務底層採用特徵共享，模型沿用了MMOE[11]的框架，專家和gate的結構可以由簡到繁，我們用多層全連線來作為base結構。考慮到postion bias，構建了一個shallow tower來做位置偏差的消除。單一任務的學習部分，使用了全連線層，為了增強模型的記憶能力，可將原始的輸入特徵透過sigmoid喂入到task頂層，透過線性邏輯來修正模型泛化的規則。最終計算loss時，參考阿里ESMM[12]的思想，在全空間樣本上同時進行ctr和ctcvr的loss學習，可以緩解Sample Selection Bias問題。不同目標的loss在量級和下降程度上會有差異，採用uncertainty weight loss[13]演算法自動學習各目標的權重比例。

在敲定大模型結構之前，我們進行了一系列的線下實驗，嘗試了多目標任務領域內的一些經典模型，如簡單的share-bottom方式，也試驗了騰訊的PLE[14]，下表給出了實驗的指標效果。

• 透過實驗資料，可以得到以下幾個結論：

  • 不同任務loss相差很大時，UWL會比直接Loss加和效果好；loss接近時，效果相當。
  • PLE設計的初衷是為了緩解seesaw phenomenon，當多工關係複雜時，效果顯著；對於ctr&cvr是遞進關係的任務，提升效果不顯著。
  • ESMM設計是為了解決樣本選擇性偏差和樣本稀疏問題，在影片場景下，cvr樣本並非十分稀疏，故cvr提升不明顯。
  • MMOE效果最佳，當任務關係簡單或遞進時，效果明顯，將此作為後續上線模型。

對於不同的最佳化目標，應該酌情考慮模型結構和loss加權方式，不能統一而論。排序二期會將使用者的影片播放完成度考慮進來，影片的播放時長佔比和ctr、cvr的關係更為複雜，屬於迴歸任務，在模型選取和loss構建上，也會針對性最佳化。

(3) 排序模型：個性化模型

如前面所說，影片場景下的搜尋，跟單曲、藝人搜尋相比，更傾向於非精準的搜尋，滿足使用者query的影片候選往往較多，個性化排序的空間相對較大。對於有歧義的query，個性化也能發揮作用，比如歌曲名“會不會”，可以對應到多個藝人意圖上，根據使用者的歷史偏好，可以將使用者偏好的藝人影片往前排，提升使用者體驗。在使用者建模中，行為序列是非常有效的特徵，也是排序二期探索的重點內容。

4. 小結與展望

雲音樂影片搜尋當前面臨四大痛點，影片內容的理解、相關性、時效性和多目標最佳化。本文作為第一篇章，闡述了雲音樂搜尋相關性模組的構建，也分享了精排一期中特徵處理、多目標最佳化的一些經驗。搜尋的最佳化任重道遠，下半年將集中在更多目標的最佳化和個性化建模方向，提升線上指標的同時，更好的保障使用者的體驗，讓影片搜尋更智慧化。

閱讀資料

[1] Jiang S, Hu Y, Kang C, et al. Learning query and document relevance from a web-scale click graph[C]//Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016: 185-194.

[2] Yao S, Tan J, Chen X, et al. Learning a Product Relevance Model from Click-Through Data in E-Commerce[C]//Proceedings of the Web Conference 2021. 2021: 2890-2899.

[3] Gao T, Yao X, Chen D. SimCSE: Simple Contrastive Learning of Sentence Embeddings[J]. arXiv preprint arXiv:2104.08821, 2021.

[4] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks[J]. arXiv preprint arXiv:2106.14448, 2021.

[5] Huang J T, Sharma A, Sun S, et al. Embedding-based retrieval in facebook search[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 2553-2561.

[6] Fan M, Guo J, Zhu S, et al. MOBIUS: towards the next generation of query-ad matching in baidu's sponsored search[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 2509-2517.

[7] Chen Z, Xiao R, Li C, et al. Esam: Discriminative domain adaptation with non-displayed items to improve long-tail performance[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 579-588.

[8] 雲音樂模型實時化-基於snapshot的實時樣本 https://kms.netease.com/artic...

[9] Wang X, Li W, Cui Y, et al. Click-through rate estimation for rare events in online advertising[M]//Online multimedia advertising: Techniques and technologies. IGI Global, 2011: 1-12.

[10] CTR神經網路特徵交叉彙總https://mp.weixin.qq.com/s__b...

[11] Zhao Z, Hong L, Wei L, et al. Recommending what video to watch next: a multitask ranking system[C]//Proceedings of the 13th ACM Conference on Recommender Systems. 2019: 43-51.

[12] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.

[13] Kendall A, Gal Y, Cipolla R. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7482-7491.

[14] Tang H, Liu J, Zhao M, et al. Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations[C]//Fourteenth ACM Conference on Recommender Systems. 2020: 269-278.

本文釋出自網易雲音樂技術團隊，文章未經授權禁止任何形式的轉載。我們常年招收各類技術崗位，如果你準備換工作，又恰好喜歡雲音樂，那就加入我們 staff.musicrecruit@service.ne... 。