本文由 「AI前線」原創，原文連結：淺析eBay聯盟營銷的上下文廣告機制
作者｜eBay
譯者｜Sambodhi
編輯｜Natalie
AI 前線導讀： 上下文廣告是與內容匹配的網路廣告，比如，使用者在網路上瀏覽資訊，如果看到汽車相關的文章，就會看到汽車銷售、汽車保險、汽車雜誌相關的廣告。上下文廣告會成為智慧廣告的前奏。eBay 聯盟營銷的上下文廣告做得相當出色，今天我們就來看看 eBay 是如何將自家的上下文廣告做到極致的。
eBay 利用各種營銷渠道將新客戶和現有客戶彙集到該網站，其中之一就是 eBay 的聯盟計劃。eBay 還提供工具包來幫助釋出商 / 分支機構增加佣金。有些工具可在 eBay 網站上購物時建立可跟蹤的連結。至於更復雜的工具，如我們的 API，可以支援自定義訪問 eBay 的產品列表資料。例如，使用者可以建立橫幅來新增實時的 eBay 清單到自己的網站。本文討論瞭如何根據頁面內容在釋出商網站進行上下文廣告。這種方法的亮點包括：
- 根據頁面內容，通過演算法確定如何識別出頁面的標題 / 相關關鍵詞。
- 忽略凌亂的 HTML 內容，只篩選相關和重要的關鍵詞。
- 在不丟失推薦關鍵詞的相關性的情況下，隨著網址數量的增加進行擴充套件。
- 使用經測試並確認有效的 eBay 搜尋演算法，提供相關的 eBay 條目，在釋出者頁面上呈現。
- 僅當頁面返回積極情緒時才觸發條目呈現演算法。我們已根據內容和上下文，為每個 HTML 頁面構建了情緒預測演算法。
聯盟營銷模式
聯盟營銷是一個網上推薦專案，商家向釋出商支付他們所提到的客戶銷售的佣金。
AI 前線：Affiliate Marketing，中文可以理解為聯盟推廣，也叫聯盟營銷，佣金計算方式是按成交付費，也即是 CPS。Affiliate Marketing 的優點是佣金往往比較客觀。Affiliate Marketing 是一種由來已久的推廣方式，由你向某個人推廣某一個產品，當那個人通過你的推廣購買了產品時，你就可以獲得佣金。佣金的多少取決於你推廣的產品。
有很多方法可以向訪問我們合作伙伴網站的客戶提供相關廣告：
- 通過展示使用者在過去與 eBay 互動的內容 (也稱為重定向廣告)，我們將其定位為相同、相似或者互補的專案。（已產生興趣，我們嘗試通過購買來轉話客戶。）
- 通過提供來自發布商提供的關鍵詞的 eBay 條目。（使用 eBay 搜尋服務提供基於釋出商提供的關鍵詞的條目）
- 基於使用者正在檢視的內容，從而鼓動他們在 eBay 上進行訂閱或購買決定。
AI 前線：所謂重定向廣告是效果類廣告中的一種精準投放方式。在消費者購物的過程中，常常會因為這樣或那樣的原因，最終沒有完成轉化。重定向廣告將商品展示到此類未完成轉化的消費者面前，將其帶回到相關網頁。由於展示的商品往往也是消費者最想要的，所以重定向廣告的轉化率比一般廣告要更高。
在本文中，我們將討論如何釋出就廣告內容相關的廣告，並討論一些我們用來實現業務目標的幾個演算法。
演算法 1：基於主題建模和頁面標題
處理流程：
- 搜尋釋出商網站。
- 抓取釋出商的內容。
- 確定內容是否反映正面或中立的情緒。
- 使用自然語言處理技術來確定感興趣頁面中相關的關鍵詞。
- 基於關鍵字，呼叫 search API 獲取該單詞的 top 專案，並在釋出商的網頁上分享。
詳細過程：
- 搜尋釋出商網站：使用自制的網路爬蟲，搜尋釋出商的網站。網路爬蟲會搜尋並返回釋出商網址的 HTML 檔案。（釋出商明確地選擇這種定位的方式，因此理解並允許我們抓取他們的網站。）
- 抓取釋出者內容：抓取由
<p>描述的內容標籤的 HTML 檔案。另外，抓取標籤<div>下的內容，這樣我們就可以獲得更多關於頁面的細節。該演算法將處理頁面上不需要的內容。 - 識別頁面的情緒：
演算法：為頁面內容生成一大堆單詞，對否定詞進行懲罰，並對正面單詞進行獎勵，然後計算整個頁面的得分。
- 一旦頁面被抓取，我們通過刪除停止字、特殊字元、標點、空格等清理網站內容，以獲得文獻術語相關矩陣（Document Term Matrix，DTM）。DTM 包含頁面上的單詞列表及其相關的頻率計數（通常也成為術語頻率）。
- 然後我們執行三個單獨的通用情感詞典，如 AFINN、Bing 和 nrc（由 Finn Arup Nielsen、bing Liu 及其合作者 Saif Mohammad、Peter Turney 編纂）。所有這三個詞典都是基於一元模型（unigrams），即單個單詞。這些詞典包含了許多英語單詞，這些單詞被賦予積極 / 消極情緒的分數，也可能是諸如喜歡、憤怒、悲傷等情緒。nrc 詞典將單詞以而二進位制形式分類（是 / 否）分為積極、消極、憤怒、期待、延誤、恐懼、喜悅、悲傷、驚訝和信任。Bing 詞典以“二元”方式將單詞分為“褒義”“貶義”兩類。而 AFINN 詞典則給單詞打分，分數在 -5 到 5 之間，負分表示消極情緒，正分表示積極情緒。
- 該頁面必須有三個詞典中的兩個才能返回正分數，以便將 URL 視為正數。
這種簡單易行的檢測情緒的方法是強大而準確的，我們構建了一個人工判斷工具來整理演算法的效率。實現了誤分類率為 16%，這意味著 84% 的時間，演算法預測了頁面的實際情緒。
4. 確定相關的關鍵字
- 基於內容： 我們採用 Gibbs 抽樣（Gibbs Sampling）來執行 LDA 主題建模演算法，獲得兩個主題，每個主題有三個關鍵詞，以概率最高的術語被作為頁面的關鍵詞。少於一次的單詞則從集合中予以刪除。
- 基於頁面的標題： 我們拉取頁面的標題，進行解析並過濾出名詞（單複數）、專用名詞（單複數）、外來詞和基數詞，並根據標題，基於它們在網頁上出現的頻率從中抽取前三個關鍵詞。
然後將上述兩種方法生成的關鍵詞結合起來，根據頁面出現的頻率，從結合中取出前三個唯一關鍵詞。
AI 前線：Gibbs 抽樣是 Metropolis Hastings 演算法的一個特例。MH 演算法利用了馬爾可夫鏈的細緻平衡，從而獲得了聯合分佈的取樣。有了聯合分佈的取樣我們就可以得到邊緣分佈，而這在貝葉斯推斷中求後驗分佈有重要作用。
主題建模概念
- 主題建模是一種無監督的方法，可自動識別出出現在文字中的主題，並派生出文字語料庫所展現的隱藏模式。粗略地說，一個主題是在詞彙表中一組術語的概率分佈，可以看做是“在語料庫中共同出現的術語的重複模式”。
- 主題模型與基於規則的方法不同，它們使用正規表示式或者基於詞典的關鍵詞搜尋技術。
- 我們使用隱狄利克雷分佈（Latent Dirichlet Allocation，LDA）進行主題建模。它是一種矩陣分解技術，是潛在語義索引（Latent Semantic Indexing，LSI）的概率版本，試圖提取資料中的潛在因素，即“主題”。
AI 前線：隱狄利克雷分佈，簡稱 LDA(Latent Dirichlet allocation)，是一種主題模型，它可以將文件集中每篇文件的主題按照概率分佈的形式給出。同時它是一種無監督學習演算法，在訓練時不需要手工標註的訓練集，需要的僅僅是文件集以及指定主題的數量 k 即可。此外 LDA 的另一個優點則是，對於每一個主題均可找出一些詞語來描述它。LDA 首先由 Blei, David M.、吳恩達和 Jordan, Michael I 於 2003 年提出，目前在文字挖掘領域包括文字主題識別、文字分類以及文字相似度計算方面都有應用。通俗來說，可以理解為：讓計算機給人們推測分析網路上各篇文章分別都寫了些啥主題，且各篇文章中各個主題出現的概率大小（主題分佈）是啥。簡而言之，就是根據給定的一篇文件，推測其主題分佈。
演算法 2：基於頁面的標題
該演算法基於頁面標題和副標題的詞頻。
- 一旦網站被搜尋（我們使用 HTML 標籤
<div>和<p>中的內容），通過移除停用詞、特殊字元、標點符號、空格等來清除站點內容，獲取包含單詞列表及其相關頻率的文件。 - 然後，我們只抓取頁面的標題和副標題 (
<h1到h6>)，只過濾名詞 (單數和複數)、專有名詞 (單數和複數)、外來詞，以及標題和副標題上的基數詞。 - 然後，我們在實際頁面內容上獲取最常見的三個標題 / 副標題，並將這三個關鍵字傳遞給搜尋服務。
5. 呼叫 eBay search API 來獲取關鍵詞——一旦為各網頁提供了關鍵詞，就會將其傳遞到我們的搜尋服務 API 中，以獲得條目推薦。
示例
URL: mashable.com/2017/10/25/…
演算法 1 展示了《怪奇物語》（Stranger Things）的紀念品，而演算法 2 則展示了《怪奇物語》的魔王海報。這是因為演算法 1 缺少“海報”關鍵詞，這正是本文要討論的內容。
我們從使用者的判斷工具中選擇了演算法 2 和演算法 1，並進行比較，演算法 2 的表現優於演算法 1。
結果： 這個簡單而有效的演算法在收集大量網址的反饋過程中，經過多輪人工判斷，我們發現：
- 觸發關鍵字生成演算法的情緒演算法能夠預測頁面的正確情緒，高達 84%。
- 與演算法 1 相比，針對關鍵詞的演算法 2，及之後的 eBay 條目生成得到了更高的反饋分數（在人工判斷工具中以 5 分為滿分，則大於 3.5 分）。
- 每個網址都有一個新的 eBay 類別預測演算法，如果沒有關鍵詞生成演算法的結果，則會使用這個演算法。
- 此外，營銷資料科學團隊正致力於基於頁面上顯示的影象生成類似的 eBay 條目列表。另外，該團隊正在為釋出商頁面上出現的影象構建一個合理的撤回 eBay 條目清單機制。（即如果釋出商頁面上有高山的圖片，那麼在為影象呈現 eBay 相關條目時，演算法不應將這些圖片作為種子影象。）
- 一旦產生這些不同的定位方式，營銷資料科學團隊計劃建立一個機器學習模型，確定使用者層面上如何響應不同的定位方式（基於上下文相關的關鍵詞、基於由釋出商提供的關鍵詞的影象、基於重定向）並根據訪問相同頁面的不同客戶來進行調整。
總之，如果釋出商可以在其頁面上提供與上下文相關的 eBay 條目，則無需執行任何操作，只需註冊該程式即可，我們最終會為釋出商、買家、賣家和 eBay 提供一個有利的生態系統。
原文連結：Contextual Advertising for eBay Affiliate www.ebayinc.com/stories/blo…
更多幹貨內容，可關注AI前線，ID：ai-front，後臺回覆「AI」、「TF」、「大資料」可獲得《AI前線》系列PDF迷你書和技能圖譜。