小紅書廣告智慧創意能力構建過程詳解

在小紅書，使用者透過富媒體筆記分享和發現世界的精彩。商業廣告作為小紅書生態的一個重要組成部分，也需要符合社群的審美和調性，在這個超大型 UGC 社群裡，基於個人經驗的真誠分享更受使用者青睞，廣告資訊也不例外。

廣告創意是廣告資訊的主要載體，一方面承載了廣告主想要推廣和營銷的內容，另一方面是使用者被商業資訊觸達的第一門面，所以廣告創意的質量直接影響廣告投放的效果和使用者體驗。廣告圖片是否簡潔直接地突出產品特點，標題是否展現了產品的適用場景等等，都是影響使用者關注的因素，也是廣告創意的一部分。而優質創意的製作成本較高，小紅書若能幫助客戶降低廣告創意製作門檻，並且幫助客戶進行創意優選和流量適配，對於提升廣告的投放效率和滿足使用者體驗意義重大。

業界其他公司經過多年的發展，已經在廣告創意的標題、圖片、展現樣式等多個方面提供了智慧化的能力。小紅書的商業化起步雖然較晚，但是在智慧創意方向也正迎頭趕上。

小紅書廣告從2021年開始進行智慧創意相關的建設，已經先後在搜尋和資訊流兩大主要場景實現了產品化，並逐漸形成了完善的功能矩陣：

在素材層面，由於小紅書天然就是富媒體筆記的形態，筆記中本身就有優質圖片素材，所以我們率先落地了圖片優選的能力。

後續又提供給了客戶自動生成的標題作為候選集，經客戶篩選後再由系統在投放過程中進行優選。

優選支援的物料，也由普通筆記廣告擴充套件到了線索廣告，之後還會支援商品廣告。

智慧優選策略，不僅建設了高效的 E&E 演算法，也建設了千人千面的大規模深度學習模型。

“巧婦難為無米之炊”，豐富且優質的創意素材是智慧創意提升效果的源泉。為了保證使用者體驗，小紅書的廣告形式非常原生化，也是筆記的形式，所以創意的素材主要由兩部分組成：封面圖和標題。一篇圖文筆記中通常有多張圖片，已經是博主或廣告主進行精心挑選的結果，可以直接用作封面圖的素材。而對於影片筆記，我們可以從博主提供的影片中抽取關鍵幀，作為封面圖的素材。但是，無論是影片筆記還是圖文筆記，博主都只提供了一個標題，如何在不增加博主負擔的前提下，得到更多的標題素材呢？

技術難點

文字生成技術幾年前就開始在工業界有應用，技術上難點在於怎麼同時兼顧可控性和多樣性。為了保證可控性，早期的方案主要是基於模版或者基於規則進行文字生成，帶來的問題是多樣性比較差。隨著 NLP 大模型的出現，開放式自然語言生成慢慢具備可行性，但也帶來了一個新的問題：大模型雖然看似很智慧地生成了較為通順的內容，實際應用時卻又容易出現張冠李戴的現象 。怎麼讓 NLP 大模型生成的文字可控但不受限，自由但不散漫，是一件很有技術挑戰性的事情。

我們基於最前沿的可控式文字生成的技術，結合小紅書海量高質量的文字大資料，構建了一套基於內容理解的小紅書特色標題生成體系。

可控式生成

● 其中 GPT2 模型使用內容豐富的筆記正文作為輸入，充分學習筆記上下文資訊，同時結合特徵控制資訊（關鍵詞、標題長度、是否包含表情符合等）進行標題生成，極大的保證的生成標題與原文的相關性。

關鍵詞/特徵控制訊號 + 筆記正文 -> 生成標題

● Seq2Seq 模型主要針對原標題進行改寫，透過挖掘高頻 query, bidword，並以品牌、功能點、利益點等資訊作為 prompt，同時融合不同的風格元素，對原有標題進行改寫，既保持原標題的核心內容，又增加了標題的多樣性。兩類生成模型線上上結合使用，保證對不同的廣告筆記均有較好的生成結果。

原標題核心內容 + 原筆記正文特徵 | 風格模型 -> 風格標題（包含標題核心內容）

好的生成能力離不開一個熟知小紅書營銷風格且強大的預訓練語言模型。基於業界最前沿的大規模語言模型理論和實踐經驗，我們建設了 RED 系列-預訓練模型技術底座：提供了基於小紅書內部資料構建的 RED-BERT (理解式)、RED-GPT2 (生成式)、RED-T5 (seq2seq) 等預訓練模型，充分利用大規模語言模型對小紅書海量的文字知識進行無監督學習。

其中 RED-BERT 支援了生成依賴的賣點抽取、相關性評估、機審質控、離線預估等內容理解相關的需求，而核心的可控式生成能力則由 RED-GPT2、RED-T5 支援。市面上的開源生成模型都是基於公開語料進行訓練的，如中文維基百科等，與小紅書筆記的語言風格存在很大的差異，我們的 “RED-” 系列預訓練模型是基於小紅書內部10億規模的筆記內容訓練的，可以更好地學習小紅書筆記的語言特點。同時，我們也改善了公開模型中的詞表適配性的問題，如 vocab 太大，缺少對於特定中文語料的側重，缺少 emoji 和小紅書表情等。

下面是2種生成模型的離線評估指標，相比開源模型，基於小紅書場景訓練的生成模型在相關指標上有明顯的提升：

高效的優選策略，是這些創意素材能夠發揮作用體現價值的關鍵。優選策略的好壞體現在兩個方面：

1. 選得好不好？能否選出來使用者最喜歡的創意，是提升廣告投放效率的關鍵。

2. 選得快不快？能否儘快把好的創意選出來，是客戶及使用者感知效果的關鍵。

在沒有先驗知識的前提下，從一個廣告筆記的多個創意素材中，選出最好的那個，其實是一個 MAB (Multi-Armed Bandit，多臂賭博機) 的問題。這類問題業界常用的演算法策略有 epsilon 貪心 (ɛ-greedy)、湯普森取樣 (Tompson sampling)、UCB (Upper confidence bound) 等。透過綜合分析各演算法的收斂速度、對反饋資料的敏感程度等因素，我們採用了 UCB 策略。

UCB策略簡介

多臂賭博機問題 (MAB)：老虎機有一條搖桿（類似於一條手臂），搖動搖桿即會按照一定機率吐出一定量的錢，一個賭徒面對多臺老虎機，在不知道老虎機吐錢機率分佈的情況下，如何最大化收益？

UCB 策略解決 MAB 問題的思路是使用置信區間：給每臺老虎機一個置信區間，區間的中間值為該機器的平均收益（吐出錢的平均值），寬度與玩的總次數的對數值成正比，與在該機器上玩的次數成反比。面對多臺老虎機，每次都選擇有最大上界的那個機器。

在創意素材優選的場景中：對於每個素材，使用多次曝光該素材的收益 (Reward)+該素材置信區間寬度 (Bonus) 計算出區間上界 (Score)，每次曝光 Score 最高的那個素材。

其中，Reward 為某個素材累計曝光的綜合收益（例如 ctr 的增幅、收入的漲幅，也可以聯合起來），Bonus 的計算與該素材的曝光次數 (Imp) 及所有素材的曝光次數 (totalImp) 有關，公式如下：

經過一定量的探索之後，置信區間的寬度將漸近變小，此時 Reward 也趨於穩定，會傾向於曝光綜合收益較大的素材。如果某個素材曝光較少，隨著總曝光次數的增加，該素材的 Bonus 會變大，Score 也會變大，同樣有一定的曝光機率進行探索。

在基於 UCB 對小紅書的廣告創意進行優選策略設計時，我們需要同時考慮以下三個問題：

1.  如何兼顧使用者體驗？

2.  如何幫助廣告主節約優選成本？

3.  瀏覽深度對優選有何影響？

如何兼顧使用者體驗

小紅書社群非常注重使用者的體驗，對於廣告展現樣式的改動，有可能會影響使用者體驗。演算法設計時，在力求商業側的收益最大化的同時，也需要兼顧使用者體驗的指標。

我們以使用者停留時長 (avgViewTime) 作為衡量服務質量 (QoS，Quality of Service) 的一個綜合指標，如何透過 QoS 來計算得出使用者體驗 (QoE，Quality of Experience)？

QoE 的相關研究指出：當 QoS 較低時，使用者的 QoE 已經很低了，即使 QoS 繼續惡化，QoE 也不會再降低很多了。同理，當 QoS 較高時，使用者的 QoE 已經很高了，QoS 的進一步提升也不會再增加 QoE，如下圖所示：

所以，我們得到的 QoE 的表示式為：

其中  為可以動態調整的加強係數。最終我們將 UCB 中的 Reward 設定為：

其中，  為ctr的權重，  用來調節停留時長部分的量綱，  為平均停留時長的權重。

實驗表明：這種 Reward 的設計，可以在保證在使用者側指標不降的約束下，廣告 ctr 指標有較大幅度提升。

如何幫助廣告主節約優選成本？

經過資料分析發現，使用 UCB 策略進行優選時，素材的 ctr 會在較短的時間內收斂到一個較為穩定的值，並且經過較長時間觀察，最優素材的穩定表現比其他素材更好，因此可以考慮設計退場機制，減少探索成本。下面以圖片優選為例：

退場機制：考慮對於達到某一條件（足夠的曝光、點選，或 ctr 穩定在一個區間）的筆記，只曝光 Reward 最高的圖片。同時在一個滑動視窗時間內，選取一個閾值，保障每個圖片都有一定的曝光。退場機制的實現邏輯如下：

實驗表明，有退場機制的 UCB 優選策略，可以減少探索次數，節約廣告主優選成本，並且對平臺收益有正向作用。（注意：退場機制只適用於靜態素材，且需要素材間 Reward 差異較明顯）

廣告瀏覽深度對優選有何影響？

在搜尋場景下，使用者尋找特定資訊的目的性很強，隨著瀏覽深度的增加，使用者積累的資訊越多，對於物料的點選需求越低。因此，當一個廣告曝光在不同位置時，其 ctr 的差異很大，這會對 Reward 中的 ctr 部分產生較大影響。這種情況下，我們考慮對 ctr 進行基於廣告坑位的糾偏。

工業界常用 COEC (Click on Expected Click) 來衡量兩個物料的優劣，進一步地，可以衡量兩個有不同曝光坑位的優選元素差異，其計算方法如下：

其中  表示第 n 坑位的曝光量，  表示第 n 坑位的點選量，  表示第 n 坑位的點選率。

但在我們的場景中希望可以將這種差異歸結到 ctr 上，方便 UCB 策略中的 Reward 計算，這就需要新增額外的超參，將 COEC 值對映到 ctr 上，並且保證其分佈近似，這增加了一定的不可控性。

基於業務現狀，我們創新性地提出了一種對於 ctr 進行坑位糾偏的方法，命名為 ECOI (Expected Click on Impression)。

ECOI (Expected Click on Impression)：借鑑 COEC 的思想（根據不同坑位的平均 ctr，計算期望點選數量），將所有位置的點選都與首位進行校準對齊，其計算方法如下：

ECOI 也能對 ctr 進行糾偏，相比 COEC，其含義和取值範圍基本與實際 ctr 一致，方便直接替換模型中的 ctr，並且也不用再引入超參並尋找與 ctr 的對映關係。但是 ECOI 也有其不足之處，單看某一坑位上的點選數校準後的值，可能比曝光數大（這種情況出現的機率很小，尤其是在廣告系統中點選數遠小於曝光數，因此可以忽略）。

經過對比實驗發現：使用 ECOI 的實驗組效果略好於使用 COEC 的效果，並且遠好於不進行坑位糾偏的效果。

UCB 依賴後驗資料的反饋，但是創意素材（包括封面圖和標題）有很多都是分佈在長尾上，可能無法在有限的時間內蒐集到足夠多的反饋資料得到置信的結果。所以我們構建了大規模離散值 DNN 模型來補充創意上的泛化能力。

另外，針對熱門創意的素材，我們在模型中將使用者的個性化也考慮進來，使系統具有了千人千面的優選能力，從而進一步提升優選效果。

如何提升泛化能力

特徵是大規模離散值 DNN 的學習基礎，在專案一期，我們對創意素材和使用者進行了精細的刻畫，構建了具有較強泛化能力和個性化能力的模型。

● 創意素材泛化：挖掘基礎的創意泛化特徵，如圖片的類目，OCR 結果，文字的分詞，實體詞等。一方面防止模型在自解釋特徵上過擬合，另一方面對於冷啟動階段的新創意，自解釋特徵還未完全收斂時，泛化特徵可以提供相應的資訊從而提高預估效果。

● 使用者個性化刻畫：用創意側特徵去刻畫使用者興趣，以使用者歷史點選過的筆記的圖片 id 構造點選行為序列，並以圖片 id 的泛化特徵去擴充套件使用者行為序列，包括 OCR 序列、圖片類目序列、實體詞序列等。此外，基於使用者在圖片各個特徵維度的泛化特徵序列，我們透過取每個序列裡 top3 出現的特徵，來作為對使用者最感興趣的特徵的刻畫。

● 創意側特徵交叉：將使用者側特徵與當前創意特徵做交叉，來刻畫使用者對當前創意的偏好，透過特徵交叉，可以增強模型在個性化預估下對候選創意的區分度。在 query 上，將當前 query 和候選圖片 OCR 識別出來的文字以及創意標題做字粒度、詞粒度以及實體詞的匹配。在使用者行為上，將當前候選圖片與使用者歷史點選行為序列裡的圖片類目、OCR 序列做匹配。

如何解決計算規模問題

深度模型的推理粒度是比筆記更深一層的素材級別，即一個筆記會有多個候選的候選的標題和圖片，為了提高模型預估的準確性，我們在標題和圖片的笛卡爾積上進行推理，使模型可以直接選出最優的標題圖片組合。但這也使模型推理的計算量提高了一個數量級。

為了在這個計算量級上進行模型推理，我們設計了一個級聯雙塔結構來保證模型的預估效果，具體如下：

● 雙塔模型中左側塔是一個完整的點選率模型結構，輸入層只接收廣告特徵的 embedding，模型結構上相比右側複雜度和引數量都要大很多。

● 右側是一個淺層 DNN 網路，輸入層加入創意側特徵的 embedding。同時，我們將左側廣告塔的輸出和上層的隱層向量傳遞到右側塔，來指導創意特徵對 點選率的學習。

● 在訓練時，右側塔接收左側塔的資訊，並融合創意特徵共同學習。右側創意塔的梯度不回傳給左側塔，保證左側塔學習的是廣告整體的表現，在特徵和訓練上都不包括創意特徵的資訊。

● 線上推理時，每個廣告對左側廣告塔僅計算一次，右側創意塔計算 N 個創意的點選率。相比於點選率模型，僅增加了 N 個創意塔的計算量，避免了創意展開導致的計算量爆炸。

由於創意側特徵較少，容易在 id 類特徵上過擬合，我們在創意側的網路結構上進行了精細化的設計：

● 創意特徵透過 SENet 來學習每個特徵的嵌入向量的權重。

● 對於圖片 id 特徵額外在 SENet 上加入正則化，並新增自適應 dropout 來減弱 id 類特徵的影響。

● 對於泛化特徵，我們增加 user_id、query 以及廣告側傳過來的 embedding 合併到一起，與創意側泛化特徵的 embedding 透過 DeepNet 來增強創意特徵與廣告特徵的交叉能力。

由於具有泛化能力和個性化的能力，深度優選模型使廣告創意的優選效果得到了進一步的提升。

經過一年多的努力迭代，小紅書商業化在智慧創意技術上完成了一些基礎能力的建設，客戶使用量也已經初具規模。未來，我們還會在創意生產、多模態理解、優選策略、優選模型等方面持續地進行技術創新和能力升級。

本文作者：商業技術部（排名不分先後）

了凡（李沛龍）玉伯（康潮明）亨利（張保如）

勞班（郭泰）神宗（謝明宸）秋哥（鄧永超）

鯤鵬（王金成）寶庫（張京鵬）特圖（黃彥華）