採訪嘉賓 | 彭長平
畢業於中國科學院自動化研究所。在機器學習、推薦系統領域有十餘年的前沿探索和工業實踐經驗，多篇論文發表在 RecSys、CIKM 等推薦系統國際學術會議上，現任京東推薦廣告演算法負責人。
網際網路發展至今，推薦系統無處不在，它也成為了許多電商平臺的收益引擎。京東的個性化推薦系統也為公司帶來了非常大的收益。隨著推薦系統在資訊分發中作用越來越重要，我們也在探究大規模機器學習、深度學習等技術在京東的商品搜尋和推薦中是如何應用的，以及一個高效、有價值的推薦系統應該滿足哪些條件等問題。
推薦系統如何驅動業務增長
數字化資訊時代，推薦系統已經成為了 To C 網際網路產品的標配技術，而推薦演算法對於業務收益的提升也起到了至關重要的作用。像亞馬遜、Netflix 等平臺，都會透過推薦系統來獲取巨大的商業價值，據資料統計，推薦系統每年能為 Netflix 產生超 10 億美元的商業價值，亞馬遜約 40% 的收入來自個性化推薦系統。
對於電商而言，個性化的推薦系統能滿足千人千面的海量需求。它的本質實際上是在使用者購買意圖不明確的情況下，利用機器學習或深度學習演算法，結合使用者特徵、商品特徵和場景特徵來構建建使用者興趣模型，進而從海量的商品中找到使用者感興趣的商品，縮短使用者到商品的距離，提升使用者購買效率和產品體驗。彭長平認為，個性化推薦，是候選極大豐富場景下的有效分發機制。他從商品數量和質量兩個角度解釋了京東推薦系統對業務增長的驅動。
第一、數量上，電商的商品 SKU 遠遠超過人腦能處理的量級，比如“果醬”在京東有十幾萬個 SKU，史丹佛大學的學者曾經線上下超市做過一個實驗，A 組提供 24 種口味果醬，在貨架前停留的使用者僅 3% 發生了購買，B 組提供 6 種口味果醬，在貨架前停留的使用者 30% 發生了購買，相對 A 組高出 10 倍。“Less Is More”，在候選太多的電商場景中，“貨找人”的個性化推薦幫使用者篩選出少量適合他的選擇。
第二、質量上，個性化推薦是帶平臺價值觀的，京東推薦系統綜合商品的品牌、屬性、價格、評價、物流等所有資訊，主推“好”、“省”、“快”的商品。因此，在為使用者帶來更好的購物體驗的同時，使用者粘性也會增加，從而形成良性迴圈，帶來更好的收益效果。
隨著大規模機器學習、深度學習等技術的成熟，它們在商品推薦中的應用也更加廣泛。彭長平認為，目前工業界，推薦系統是機器學習演算法應用最廣泛、最深入、最成功的系統，幾乎每一個環節，我們都在用資料和演算法驅動的模型，去替代人工拍腦袋。
可能大家最熟悉的深度學習技術用於推薦系統上的應用是點選率和轉化率預估，但他還舉了幾個其他的應用例子：一、召回，召回很難做到一個模型解決所有問題，因此，京東在召回方面同時使用了 Vector-Based、Tree-Based、Graph-Based 多種型別的深度學習模型；二、商品知識圖譜，商品的文字、圖片、影片理解及商品間的關係，幾乎完全依賴於 NLP、CV 等各類機器學習演算法；三、Rerank 重排序，推薦是多目標最佳化問題，在點選率預估值的基礎上需要做 Rerank，以提升使用者體驗和瀏覽深度，Session 全域性最佳化引導使用者不斷下拉的業務場景，非常匹配深度強化學習。
優質的推薦系統要具備哪些特點？
由於使用者群、業務場景、地域和文化的不同，推薦系統千人千面，紛繁萬變的細節當中，不同平臺的推薦系統也各不相同。彭長平表示，相對於影片、資訊、直播等媒體內容平臺，京東電商的推薦系統做到 60 分會比較容易，但要做到 80 分、90 分卻很困難。
從框架上看，推薦系統都在做 User 理解、Item 理解和二者匹配，系統都有選品、召回、點選率預估、Rerank 重排序等環節。但電商推薦的困難在於以下三個方面：
第一、從 User 端看，內容資訊平臺，使用者的需求相對來說長期不變，內容的消費過程線上上完成。而購物需求的產生和消費過程都線上下，線上只是一個交易過程，線下的過程是難以追蹤和資料化的，電商場景對使用者需求的識別和激發挑戰很大；
第二、從 Item 端看，內容資訊平臺的內容生產者們，圍繞同一個興趣主題，可以日復一日地變著花樣更新內容。購物場景中，如果使用者已經購買，同類的商品就不能再推薦了，對擴充和激發使用者的需求更高；
第三、從推薦系統希望使用者做出的 Action 看，內容資訊平臺的主要滿足使用者娛樂類需求，消費不合理推薦資訊的成本很低。而購物場景中，推薦系統期望使用者點選、瀏覽，讓使用者種草甚至讓使用者花錢購買也是系統最佳化目標，如果 Item 質量差或推薦精準性不夠，使用者會拋棄平臺的推薦功能，甚至從平臺流失。
那麼，一個高效、有價值的推薦系統需要具備哪些特點呢？彭長平認為，在使用者沒有主動需求表達的情況下，將使用者喜歡的 Item 分發到其面前就算得上是好的推薦系統。這樣的系統需要滿足以下三個條件：
第一、是滿足使用者需求的，體現在使用者願意看，停留時間長上；
第二、是有成長性的，體現在能擴充使用者興趣、能帶動優質的商品或者內容提供者成長、對新使用者或新商家友好；
第三、是體現平臺價值觀的，推薦系統促進平臺玩家的優勝劣汰。
要做到這三點，推薦系統需要做幾方面的工作：一、從 User 行為反饋和 Item 資訊中學習，讓模型基於資料自適應的進行匹配；二、召回環節沒有 silver bullet，需要使用多種不同型別的演算法來做召回，各個階段的模型都要有較強的泛化能力，對冷啟動 User 和 Item 做定製最佳化；三、體現平臺價值觀的最佳化目標函式，大部分是多目標最佳化。
電商推薦系統的應用實踐
推薦系統是一種資訊過濾系統，用於預測使用者對物品的“評分”或“偏好”，其目標是對使用者感興趣的商品或內容產生有意義的推薦。在充斥著海量資訊和資料的網際網路上，如果沒有推薦系統，使用者想獲取有價值的內容就猶如大海撈針。推薦系統能透過對大量動態生成的資訊進行搜尋，為使用者提供個性化的內容和服務，有效解決資訊超載的問題。隨著數字化資訊和網際網路訪問者的爆發式增長，推薦系統顯得比以往任何時候都要重要。
京東推薦系統發展到今天，主要經歷了以下四個階段：
一、滿足使用者需求階段。 在滿足客戶需求方面，最早的系統從搜尋系統改造而來，將使用者近期的瀏覽的商品理解為使用者的需求，Item-based CF 是最主要的召回手段。
二、擴充使用者需求階段。 在這個階段召回上，無論從資料還是從演算法角度，都是從儘可能多的角度去提升召回的豐富度，京東為此立了個專案叫“召回萬花筒”，不斷提升召回的多樣性和覆蓋率。在排序環節，最佳化目標從強調與使用者匹配程度的點選率、轉化率，到兼顧最佳化使用者下拉深度、新穎性、多樣性。
三、Session 全域性最佳化與商家生態最佳化階段。 在進入此階段後，京東的最佳化重點在 Rerank 環節，將使用者在 Session 內的前序瀏覽行為視為一個完整的 List，Rerank 排序是一個 List 生成和 List 評估的過程，即最佳化 List 整體使用者的瀏覽量和點選量。另一個方向是引入生態最佳化機制，模型量化使用者和商品間發生一次互動，對使用者和商家的長期價值，並將預估的量化價值引入到排序機制中。
四、跨使用者群體與跨商家群體聯合最佳化階段。 隨著京東業務的發展，覆蓋的使用者群體從相對單一的群體擴充到了非常多元化的群體中，三到六線城市的使用者佔比已經超過六成，無論是京東 App 內，還是專為下沉市場定製的京東極速版、京喜，使用者群的擴充、定製化新 APP 的高速增長，為千人千面的推薦演算法提出了更大的挑戰。這個階段商品知識圖譜、遷移學習等技術發揮了重要作用。
不同時期，京東推薦系統在提升推薦精準度、精細度和覆蓋率等方面，也做了很多的努力。彭長平表示，要同時提升推薦系統幾個看似矛盾的最佳化目標，需要從三個維度入手：召回演算法多樣化，從計算 User-Item Pair 級的最佳化轉向 Session 級全域性最佳化，護航優質商家成長的生態最佳化。京東從這三個角度做了以下工作：一、召回萬花筒：從召回粒度上，我們在 User 和 Item 上都建立了粗細粒度不一的分層表徵，從不同粒度去做二者的匹配。從召回演算法上，Boolean Matching Model、Embedding-based Retrieval、Knowledge-based Retrieval 在我們的推薦結果都佔有較大的比例。二、Session 全域性最佳化：從單條推薦候選看，精準度和驚喜度是有矛盾的，而從最大化 Session 整體點選量的角度最佳化二者是統一的，即 CTR 模型從 Pointwise 轉向了 Listwise。三、商家生態最佳化：新商家、新商品的質量分級和冷啟動機制，有效的保障了其中優質部分在平臺的曝光量和訂單量。而源源不斷的新商家入駐和新商品釋出，是提升覆蓋率和驚喜度的重要驅動力。
據彭長平介紹，京東平臺上有許多子場景，每個子場景又有非常多的細分搜尋和推薦，對於這些子場景推薦的聯合最佳化，最主要用到的是遷移學習演算法。每個子場景的使用者行為都是不充分的，但每個場景下又有其獨特的使用者行為模式。京東聯合使用主場景和多個子場景的資料進行模型訓練，設計了一套多層的網路結構，讓模型既能從主場景中遷移知識，也能從同類的子場景中遷移知識。透過遷移學習構建子場景的單個模型，能同時應用在京東 App、京喜 App、京東極速版 App、微信購物、QQ 購物等多個終端。
在各電商平臺競爭日趨激烈的當下，如何吸引來更多的新使用者並增加老使用者的活躍度和平臺粘性，是影響平臺發展的關鍵因素，因此，推薦系統的不斷迭代和升級就顯得尤為重要。未來，京東推薦系統也會在導購類內容推薦、場景式推薦和生態最佳化機制這三個技術方向上進行最佳化。
從導購類內容推薦來講，隨著以直播帶貨為代表的電商內容化，京東平臺已經積累了大批次內容生產者，他們生產的優質帶貨內容和商品一起成為推薦系統的候選 Item，不同型別的物料、不同的最佳化目標，對演算法提出了更大的挑戰，更豐富的內容也給使用者帶來了更好的”逛“和“買“購物體驗。
從場景式推薦來講，提到“逛”的體驗，很多人對“宜家”門店的場景化佈局深有感觸。京東正在開發基於使用者商品消費場景的理解，推薦場景所需要商品的全集合，並以更立體的方式呈現到使用者面前，提供線上的場景化購物體驗。
最後，從生態最佳化機制來講，未來需要做的是，強化推薦系統內的商家優勝劣汰機制和優質新商家、新商品的成長機制。
技術難題及突破口
雖然說推薦系統已經很大程度緩解了資訊過載的問題，滿足了使用者的個性化需求，但是目前仍有部分問題阻礙著推薦系統的發展。彭長平認為，這其中最大的困難還是“資料”的問題。具體體現在兩個點上：第一、如何全面獲取和快速處理資料；第二、模型如何能更高效地從海量資料中學習。
那麼，在解決全面獲取和快速處理資料問題上，要先分別弄清楚如何解決“全面”和“快速”的問題。“全面”，需要將每一個與使用者互動的觸點，線上、線下的全渠道資料融合；“快速”，需要以準實時的流式資料處理機制，提高資料到模型、以及模型引數更新的時效性。隨著 IoT 終端的多樣化和終端計算能力的提升，端計算和雲端計算結合，能進一步提升推薦系統對使用者反饋的及時應對。
面對海量複雜的資料，我們既要提高模型系統的絕對算力、系統處理資料絕對量和 TB 級的複雜模型服務，也要提升模型結構對海量資料的適配度，在後一個問題上，彭長平表示更看好 AutoML 技術走向成熟，比如我們目前在 NAS 網路結構搜尋工作上，效果已經追平了專業演算法工程師長期調優的模型結構，不久的未來，相信就能取代調模型結構的鍊金術師們。
彭長平認為：
工業界的推薦系統，沒有單項的核心技術。推薦系統中演算法佔據主導、人相對被動，不管是使用者還是商家，對演算法出錯的容忍度都很低，系統只有收集到儘可能全和儘可能高時效的資料、採用更高效的演算法、打磨好每一個細節，使用者和商家才會信任推薦系統。
隨著技術的進步，衣、食、住、行、娛，每一個領域都將進入供過於求的狀態。可以預見，隨著 5G 和 IoT 的普及，人和電子裝置打交道，會越來越依賴於推薦技術，甚至不是一套平臺級的推薦系統，而是每個人在每一個領域，都需要一名個性化的推薦“助理”。