阿里媽媽搜尋廣告2024大模型思考與實踐

机器之心發表於2025-03-13
原文網址 : https://www.jiqizhixin.com/articles/2025-03-13-3
阿里大模型
圖片
作者：石士阿里媽媽技術團隊

一、概覽

隨著大模型時代的到來，搜推廣模型是否具備新的進化空間？能否延續像深度學習時期那樣迸發旺盛的迭代生命？帶著這樣的過去，阿里媽媽搜尋廣告在兩年的持續探索中，逐步成功清理了一些關鍵問題，落地了多個最佳化方向。現在，我們更加堅定地認為，搜推廣模型與大模型的結合蘊藏著巨大的想象空間和價值業務。以下幾個方面分享和交流2024年的思考與實踐：

  1. 在保衛變革性的技術交替之際，回顧搜搜推廣模型的歷史演進，抓住三條關鍵路線（明線、暗線和輔助線）有助於更加清晰地理解技術升級的內在邏輯。同時，明確如何在新時期系統性發揮算力優勢，深度挖掘搜搜推廣領域的尺度規律，已成為推動技術進步的核心路線。
  2. 新探索的前哨站，訴狀模型透過與大模型的深度結合，全面提升感知與推理能力。在感知方面，著眼於解決系統內容融合資訊與行為良好資訊的問題，持續最佳化多模態表徵的質量，突破傳統ID表徵的前置，逐步實現對感知世界更豐富的感知建模；在推理層面，構建使用者序列大模型，將生成式方法與判別行為方法有機結合，探索推理能力的持續進化之路。
  3. 大模型正在全面全面搜尋廣告系統。依託預訓練（pre-train）與後（post-train）的模型迭代新正規化，阿里媽媽自主研發了廣告領域專屬大模型LMA（Large Models for Advertising），並於2024年4月業務隨宣推。LMA是電商基礎大模型衍生出來的廣告模型集合，迭代分支包括認知、推理和決策。新財年以來，LMA持續最佳化、認知分支聚焦多模態表徵、推理分支聚焦搜尋推廣領域的使用者行為大模型等。這些技術進展不僅推動了第一階段體系實現多個版本迭代上線，還深度改造了認知、改寫、相關性和創意等核心技術模組，推動技術全面升級。

二、模型演進規律和大模型迭代趨勢

和深度學習時期相比，大模型時期的搜推廣模型有一脈相承之處，也有推陳出新的地方。回顧過往，模型能力的突破主要沿三條路徑演進：

  1. 明線，推理偏置（Induction Bias）的合理設計，是模型能力提升的核心驅動力。
  2. 暗線，硬體算力的指數級提升，為模型的規模化提供了強力支撐。
  3. 輔助線、CV和NLP領域的代際性技術升級，給搜推廣領域帶來重要啟示。
圖片
2.1. 明線-歸納偏置

所謂明線，即表面能夠看到的模型結構的變形，其本質是對偏置偏置的合理設計與現實。偏置偏置了模型在學習過程中對特定假設和結構的先驗偏好，在資料有限的情況下能夠有效約束引數搜尋空間，提升模型的泛化能力。例如CV領域廣泛應用的模型結構CNN，內部的偏置就是影像在區域性空間的平移偏置。

類似地，搜推廣模型在使用者行為預測建模上也有自己的慣性偏置。例如，如何設計模型結構以充分捕獲使用者行為的多樣性、動態定位、區域性定向及相互依賴關係等；如何最佳化嵌入結構及正規化訓練，賦予有效的自適應ID特徵的高維稀疏和冪律分配等統計特性。所以，每次可見的模型結構升級，都是對流程圖的拓撲層次理解與實現。

2.2. 暗線 - 算力

暗線，即模型能力升級的內在演進邏輯，就是藉助算力的東風不斷提升模型規模化的能力。若明線似看得見的招式，則暗線似看不見的內功。如何修煉內功，最佳化基礎訓練和推理，能夠充分利用摩爾動作與黃氏動作帶來的算力提升，使得模型引數規模持續增長。這就是近年來模型演進的核心旋律。

然而，算力的指數級增長主要體現在計算上，“記憶體牆”依然高築，儲存與頻寬仍然是系統的瓶頸。對於搜推廣模型而言，其訓練的主要挑戰在於稀疏嵌入的訪問與計算，如何進行演算法與工程的深度聯合最佳化，提升計算與通訊的任務，最大化GPU計算資源，成為釋放算力和推動模型規模化的關鍵。

某種程度上，搜推廣模型比其他領域更早認識縮放定律（縮放縮放）的重要性。與 CV 和 NLP 領域不同，搜推廣模型依賴於高維稀疏的 ID 特徵體系，其規模化方向並不是向更深的方向生長，而是向更寬的方向擴充套件。如果以 LLM 常用的 Token 規模作為對比，我們場景中一天的樣本對應的 Token 規模已達到 T 級別，與 GPT-3公開的資料相當，且模型的訓練還需要大量樣本，資料量遠超一般LLM訓練。

因此，長期以來，增加的樣本規模、特徵數和嵌入維度等共同支撐了更廣泛的縮放法則的第一增長曲線方向。然而，隨著時間的推移，這一增長曲線的邊際效果正逐漸遞減，促使我們重新思考：搜尋推廣模型是否也有向更深層次擴充套件的機會？接下來，我們將重點探討這一可能性。

2.3. 輔助線 - CV&NLP 領域

搜推廣模型作為AI應用領域的重要分支，貫穿整個AI技術的發展影響。縱觀整個AI發展史，CV和NLP領域的技術相互響應、交相輝映，每一輪技術都重新整理著AI邁向新的高度，引領了引領和破圈的效應。相對地，搜推廣模型在發展程序中既面臨AI領域的共性問題，也有自身業務屬性的特色問題。其中關於共性問題，CV和NLP的技術突破就是很好的輔助線，給予搜推廣模型重要啟示，加速創新。

搜推廣模型經歷了幾次重大技術變革，與 CV 和 NLP 領域的創新息息相關，沿著時間線：

  • AlexNet 在 ImageNet 競賽中的突破性成功表明了 DNN 的巨大潛力，搜推廣開啟 DNN 時代；

  • Word2Vec奠定了表徵的基礎啟示，使嵌入技術得以廣泛推廣的廣泛應用；

  • 注意力機制對翻譯任務的大幅提升，深度影響使用者行為興趣建模；

  • 基於Transformer結構的訓練正規化的普及，推動了對比學習、掩碼學習、預訓練和遷移學習等多種迭代模式的興起。

當然，推廣模型的實踐也將反哺AI領域的發展，例如基於使用者反饋的強化學習並由此產生效能敏感的提升、剪枝、低排序和量化等技術。如今，LLM又開啟了大模型的新時代。

2.4. 大模型時期的迭代主線

綜上，新的輔助線看起來會延伸更遠，LLM已經徹底削減NLP，搜推廣模型的演進可能會發生深刻變化。

  • 一方面，從算力（暗線）角度來看，縮放法則在稀疏的更寬方向已經表現出第一生長曲線，新時期需要探索稀疏往稠密的轉變，走出更深的新生長；

  • 另一方面，從偏見（明線）角度來看，人工先驗的偏見由精細化設計向樸素化正規化轉變。 正如《苦澀的教訓》所言：“AI發展史最苦澀的教訓是：試圖將我們認為的思維方式編碼硬進AI，長期來看是無效的。最後重要的，是那些能夠隨著計算能力高效增長而擴充套件的通用方法”。這一點緊迫感同身受，過去依賴精巧結構設計的短期收益，往往在算力提升的長期趨勢下變得微不足道，甚至有些複雜結構反而成為算力擴充套件的障礙。真正支撐生產服務的模型，最終仍會朝著簡潔、簡化、方向的收斂，以適應計算資源的可擴充套件性和實際業務需求。

所以，大模型時期的迭代主線：弱化偏置，強化資料驅動，設計高效通用且的模型結構，讓模型從資料中自動學習複雜模式，充分挖掘算力潛力，探索出稀疏方向往稠密更深方向擴充套件的新路徑。這就是我們研發LMA系列模型的認知核心。

三、股票模型與大模型結合

LLM的橫空出世讓各領域探索應用潛力，搜刮推廣系統也不例外。關於LLM在搜尋和推薦系統中的重建應用，開始已有消防災害，技術分類體系十分完善，頗有啟示，本文不再贅述。同時算力現實和效能約束，我們更關注短期內的落地呼吸，所以本文逐步進進式最佳化的視角，回顧並CTR模型與大模型結合的思考與實踐。

前文已經論述了大模型時期我們認為的迭代主線，即弱化增量增量，強化資料驅動，探索搜推廣模型的稠密更深方向的規模化之路。CTR模型經過多次的迭代積累，形成了最具生命迭代力的兩個提效方向——嵌入建模和使用者行為興趣建模。二者均遵循更廣泛的規模化思路，不斷增加特徵個數、不斷擴散長使用者行為規模、不斷延展嵌入的向量等，取得不斷持續的收益。更深層次的規模化始終不像CV和NLP模型那麼順利，CTR模型似乎搞到了幾十層沒有意義，反而會適得其反。

最關鍵的認知破局點存在，CTR任務的判別式模式太簡單了，讓模型判別是否點選此類的1bit資訊量的答案，初步於下一個Token預測的生成式方面，活動空間過小。如此，在不改變判別式任務的情況下，模型僅依靠強能力的高維稀疏ID Embedding就可以完成大部分的記憶工作，淺層的Dense引數只需要承受部分的泛化能力就好，這樣模型總是有更深的所以，我們認為三階段的迭代正規化——“Pre-train + Post-train + CTR”可以破局，更深層次的方向規模化的重任交由Pre-train和Post-train完成。下面分別介紹新正規化下對我們嵌入建模和使用者行為興趣建模的改造，兩個對應——“多模態”和“生成式”。

3.1. 感知 - 多模態表徵模型

深度學習時期的 CTR 模型以 ID 體系特徵為基石，ID Embedding 的引數規模關注整個模型的 90% 以上，其表徵決定了模型爆發能力的基礎。然而，ID Embedding 體系長期面臨一個核心挑戰，就是其過度依賴歷史統計資料問題，對長尾和冷啟資料極為不友好，且此類資料是搜推廣業務的核心。引數規模化的收益邊際速率逐漸增長，而資料稀疏的瓶頸問題日益凸顯，我們需要探索新的嵌入技術體系。

我們開始重新利用ID形式的特徵表達，認為ID但是為了捕捉世界的代理表達，模型對世界的採集應該更加直觀和直接。常理思考，使用者對於一個專案是否發生感興趣、是否有點選行為，本質上是專案的視覺表達是否會吸引到使用者，所以直接建模近似視覺表達會本質上。因此，過去兩年我們重點建設多型MM嵌入內容技術體系，把其應用到使用者行為興趣建模中，打造樸素但強大的視覺興趣模型（MIM：Multi-modal content Interest Modeling）。

視覺興趣模型MIM採用“Pre-train + Post-train + CTR”的迭代正規化，核心就是將更深方向的引數規模化交由Pre-train和Post-train來實現，考慮前序階段的訓練目標就是自定義質量的MM Embedding，然後基於MM Embedding的視覺興趣建模由CTR任務來完成。該正規化有優勢，多模態能力及時可以追蹤前沿開源技術、CTR任務能夠保持效能和迭代的高效、更深方向的規模化可以有規劃性的持續迭代、生產關係可以解耦並各司其職地開展等。這些優勢在過去兩年的模型升級中體現得淋漓盡致，這也是我們最終沒有采用建模路線的原因。

高質量MM Embedding生成的核心是承載稀疏資訊的內容空間與承載稠密資訊的興趣空間如何有效協調，模型架構就是多模態領域的稠密模型。稠密模型和CTR任務的稀疏模型相比，語義理解比統計判別的稀疏任務更難，幾十層的模型架構最重要，給更深層次的方向規模化帶來空間。編碼、負責空間的理解與遷移，關注圖文是什麼，多型調整能力的持續最佳化是基礎，將開源世界知識往電商知識遷移是關鍵；培訓後職責是對齊，負責空間與興趣空間的協調，關注使用者行為反饋、凸顯圖文吸引力要素，高質量的訓練樣本並找到與下游CTR任務正相關的中間指標是關鍵。另外，這兩個階段也有內容的最佳化主線：

  • 訓練模式，包括分類、對比學習、掩碼學習、自迴歸學習等，且骨幹緊隨主流更迭，包括BEiT3、BGE、BLIP2、EVA2等。

  • 資料質量、圖文質量包括視覺強相關的主體和關鍵詞識別、難正負樣本挖掘，結合行業特色挖掘興趣樣本例如拍立淘的圖搜場景等。

  • 規模效應，包括圖片尺寸、訓練樣本和模型引數，模型尺寸經歷了0.1B、1B和10B的升級過程，是更深層次規模化的主要路徑。

有了高質量的MM Embedding，CTR階段的興趣建模就回歸傳統、輕車熟路，基於Target-Attention機制將ID Embedding升級為MM Embedding就可以靈活地高效建模使用者的視覺偏好。整個演算法框架就這樣運轉起來，三個階段既相互解耦合又是相互聯絡的。同時，關於Pre-train和Post-train的稠密模型框架和CTR稀疏模型框架的有機結合，工程在離線和線上前期都做了相應的架構升級和效能最佳化。迄今為止，MIM模型共上線過去4期，分別在兩年的大促（2023&2024-618&雙11）全量上線，每期都有整體大約CTR+5%、長尾CTR+10%的顯著提著效果。
圖片
歡迎討論，【MIM】MIM：使用者行為建模的多模態內容興趣建模正規化
論文連結：https://arxiv.org/abs/2502.00321

3.2. 推理-使用者行為大模型

隨著包括使用者行為序列行為規模的不斷擴大，行為長週期的不斷加長、多型別行為和多領域行為的不斷補充等，這類特徵的重要性逐漸在整個特徵系統中支配地位。過去，單值特徵型別的特徵互動建模曾是模型迭代的主線，而現在，實際提效的研究焦點是轉向業務多值/序列特徵型別的使用者建模。研究焦點的轉向和方向該行為的尺度法則密不可分，例如針對行為週期的不斷拉長，設計高效能的目標註意力結構能夠帶來收益。但是傳統的規模化仍然僅在更廣泛的持續方向有效，我們多次嘗試加深行為興趣網路結構的層數，但卻提效甚微並且很快就遇到瓶頸，我們開始認識CTR任務的最終會建模限制模型的複雜程度，更深層次的規模化紅利需要用新的思路來解決。

為此，我們提出 LUM（Large User Model）模型，同樣考慮“Pre-train + Post-train + CTR”的迭代正規化，點與 MIM 模型類似，由 Pre-train 和 Post-train 來承擔更深的方向規模化，同時系統架構、迭代效率、推理效能和生產關係等對落地和後續發展有好處。前序階段參考 LLM 模型架構設計自迴歸生成式任務 ——下一項預測，目的是從使用者行為序列中以驅動的方式學習良好的過濾模式，高效階段該下游行為預測類模型的可遷移性。CTR模型則依賴LUM的推理結果，進行目標註意力，除傳統的從歷史行為中的興趣之外，進而從推理的未來資訊中挖掘潛在興趣，該方式融合了生成式與判別式任務的各自特徵。

類似的正規化並不新鮮，但可能大家正規化的規模化能力估計不足，在LLM盛行並沒有成為持續迭代的主流，這次以全新的認知重新做系統性建設。LUM模型的規模化潛力主要源於下一項預測的任務設計，因為專案集合非常大，模型學習空間稀疏之前只有1bit資訊量的是否點選的CTR任務更大，可以容納更多的樣本與模型引數。實踐證明，確實該模式下模型層數可以加深到幾十層，結合對應的該階段設立的技術指標如回憶等均能持續提升，並與下游CTR任務結合，可以體現推理能力不斷提升。

LUM模型的最佳化核心要解決兩個高效的語義資訊與高效的語義如何融合。前面的問題，涉及到Item規模對應LLM的Token詞表過於龐大，另外如果參考文獻文獻直接文字化的做法對於長序列表達是個災難，所以將語義資訊壓縮至小規模的Token非常有必要。目前的Token化方法在百花齊放中，包括語義ID、LLM總結、多模態表徵等；晚上，雖然良好的資訊和語義資訊的建模思路大同小異，都在相互間刻畫Token之間的“共現”機率，背後的模式仍然存在很大差異。為此解耦可以司其職權，架構分層是理想方案，底層Token化聚焦語義資訊的編碼，上層Transformer結構聚焦和諧資訊的預處理。如上，使用者行為建模可以增強興趣推理能力，並開啟新的尺度化路徑。
圖片
歡迎主題：

  • 【LUM】基於三步正規化的大使用者模型解鎖工業推薦系統中的縮放定律

  • 論文連結：https://arxiv.org/abs/2502.08309

  • 【UQABench】UQABench：評估使用者嵌入在個性化問答中提示 LLM 的效果

  • 論文連結：https://arxiv.org/abs/2502.19178

四、大型模型商場搜尋廣告系統

大模型的出現對搜尋推廣業務影響即將到來，短期來看可以透過AI能力升級重構現有系統，長遠來看必將孕育出新的產品形態和商業模式。重點介紹一下我們如何利用大模型的能力全貨架倉庫現有的搜尋廣告系統。主要體現在兩個方面的優勢：1）傳統搜尋系統依賴於ID特徵體系，大模型在語義理解和邏輯推理上的推理能力可以真正讀懂使用者的搜尋需求，各環節的匹配效率必然會提升；2）大模型升級下來的Pre-train和Post-train的迭代正規化，能夠更加標準化地最佳化全渠道，並進一步開啟規模化的空間。繼2023年的效果初探，2024年我們在全渠道上有更全面的落地，包括改寫、召回、相關性和創意等模組，累計提效約CTR+10%、RPM+5%，接下來的幾個相關工作介紹做。
圖片
4.1. 改寫

改寫是搜尋場景廣告業務特色的技術模組，使用者輸入搜尋詞高效表達搜尋需求，廣告主透過廣告平臺設定和自己產品相關的競買詞Bidword表達想要達到更高的流量，改寫的目標是對Query和Bidword匹配。匹配效率體現在兩個方面，分別是相關性和流量，前期是基礎，後期是在前期的基礎上流量變現價值主要的Bidword。核心挑戰有兩個：1）精準價值查詢背後的真實購物需求，尤其是手機文字輸入成本高，使用者和廣告主的表達習慣千差萬別，Query和Bidword之間的語義鴻溝對於相關性挑戰很大；2）相關性和高價值的平衡。

經典方案需要有兩類模型相配合，深度語義模型解決相關性問題，基於和諧過濾的深度價值模型解決流量價值問題。該方案有兩方面問題，涉及到存在老生常談的問題即對長尾查詢理解和改寫融合能力，而兩段式目標往往會顧及此失彼。大模型LLM的出現可以極大改善出現長尾流量上的相關性問題，LLM含世界知識對於文字理解和推理能力非常強大，我們在2023年年初就開始推進LLM在改寫方向的落地，探索生成式改寫的提效潛力。電商廣告領域知識的SFT和線上動態RAG是迭代早期的常規最佳化手段，效果不錯。生成式改寫也是LLM在搜尋廣告業務中的第一個上線專案。

但是簡單將LLM改裝成改寫任務仍然會存在兩個問題，一個是LLM的生成結果無法保證一定是在競買詞庫中，導致生成結果不可用；另一個是生成結果雖然能夠保證極大的相關性但是無法提供流量價值的判斷。所以系統往往需要有一個第二段改寫的模組，給上述兩個問題進一步兜底或者改善。為了最佳化改寫效果，我們提出基於帶權Trie樹的LLM生成式改寫技術（VALUE）。一方面透過將全庫競買詞構建成Trie樹，使得LLM生成過程在Trie樹約束搜尋下進行，確保生成結果一定是在競買詞庫中；另一方面離線階段構建高低價值的反饋判斷效率更高（哪個詞的變寫效率更高）進行DPO訓練，線上環節將Trie樹樹升級為帶權（權重價值即變現效率的層層聚合）且實時更新的模式，兩相結合使得時段式生成過程兼顧了高決策。如上，基於LLM的生成式改寫方向，兩年時間總共上線4期，提效顯著。
圖片
4.2. 召回

電商場景下，使用者的搜尋需求除搜尋詞查詢的主動性延伸到外部，還有背後的個性化需求，包括價格、品牌、款式等偏好。同時，商品廣告庫的豐富相關性意味著，即使滿足基本的相關性需求，系統仍需在佇列符合條件的商品中做出偏好選擇。所以深度挖掘使用者興趣偏好，才能更全面地瞭解使用者的搜尋需求。在此基礎上，召回模組的核心目標就是在確保高召回率的前提下，檢索出與後續排序階段價值判斷一致的最優廣告集合子集，從而同時滿足相關性和個性化的搜尋需求。

記憶模組的核心技術挑戰是在計算效能有限的情況下實現全庫打分檢索，從而在準確率和記憶率之間達到最最佳化平衡。記憶化檢索是深度學習時期應用廣泛的技術方案，其中索引結構是關鍵，透過LSH、PQ或HNSW等方法設計合理的資料結構，對索引進行分片或分層處理，可以減少大量冗餘的計算，達到近似最近鄰ANN的計算效果。不過電商搜尋有別於傳統的文字搜尋，查詢、使用者主要體現在兩個方面，一方面基於緊迫的索引構建與搜尋模型相分離會導致最佳化目標不統一，另一方面基於效能考慮實體間的計算只能在簡單的線性計算模式下進行。

大模型LLM的建模正規化給生成式認知帶來新的思路，生成式認知可以從本質上統一索引構建和檢索打分兩個過程，此時模型引數即索引，模型的離線訓練和線上推理的最佳化目標是一致的，並且自然地可以引入複雜的非線性計算，這樣最終的最優子集生成過程有更高的最佳化。生成式認知有兩類探索方向：1）參考LLM的自迴歸建模思路，基於Transformer架構自行構建下一個專案預測；2）將使用者行為和查詢一樣的文字化，直接藉助LLM的世界知識和推理能力進行下一個Token預測。

先前就是前文提到的LUM模型，該模型在召回和召回姿勢涉及應用，這裡不再贅述；晚上是LLM恢復推薦系統中的第一步和最直接的兩類探索思路，因為召回對於打分精準度的要求不那麼嚴苛，所以針對該思路我們優先選擇在召回側做詳細嘗試。其中最核心要解決的技術問題是如何讓和諧的過濾資訊轉移到LLM模型中，我們分別做了幾項工作：蘊含良好過濾資訊的ID嵌入以特殊Token的方式引入、利用行為序列資訊進行領域遷移的SFT、Next Token實際應用生成Next CPV（商品關鍵屬性，格式化資訊天然有聲音式效果），實踐表明該召回方式能夠提升認知通道呼叫，帶來明確的業務收益。當然，眼下關於生成的計算效能問題仍在逐步攻克中。

4.3. 粉絲

在電商場景中，搜尋廣告結果通常以商品的複製形態呈現，因此搜尋相關性對使用者體驗至關重要。相關性模型作為NLP技術搜尋中的廣告中的核心應用，主要用於判斷使用者搜尋需求（查詢）的文字表達與商品的圖文資訊是否匹配。該技術體系包括識別模型、關鍵屬性識別模型，以及貫通認知與排序各階段的相關性判斷別模型等多個關鍵模組。同時，相關性模型的技術不斷持續延續NLP隨著大模型LLM的崛起，NLP技術正規化正經歷深刻變革。相關性模型有別於CTR等行為預測模型，它沒有個性化資訊，文字語義的深度理解是建模關鍵，所以我們認為具備LLM遷移最先落地的可能性。

相關模型一直以來的核心技術挑戰是如何在棘手的資料稀少且昂貴的情況下做模型規模化。技術發展路線主要經歷兩個階段：1）行為挖掘資料弱標籤，藉助圖迴歸學習和表徵學習的能力做資料層面Scale up；2）資料BERT系列的文字類多工預訓練+下游任務後續的正規化，進行模型層面Scale up。隨著自模式的GPT架構的興起，模型的進一步規模化仍能得出邏輯推理能力，而這正是相關性模型可以代際性進階的突破。邏輯推理和可解釋性對於相關性任務決策很重要，說明我們透過思維鏈CoT的實踐動作慢推理的可以設計顯著提升決策任務結果的準確性，反過來推理的過程資訊對於模型的再次迭代以及業務應用都有助益。

因此，我們設計了基於思維鏈模式的聚焦邏輯推理的相關性大模型，並升級了標註系統，設計機器標註和手動標註的良好，徹底改變標註資料稀疏且昂貴的標註境地。同時，考慮到相關性大模型無法線上即時級實時響應，我們設計了一系列電業務特色的細粒度調整手段，包括資料調整、隱層調整和流程補充等，大幅提升線上傳統相關性模型的標誌能力。驅動方法論踐行，今年在相關經驗上取得了過去三年之和的提效收益。
圖片
歡迎討論，【ELLM-rele】可解釋的LLM驅動的電子商務相關性學習的多維蒸餾
論文連結：https://arxiv.org/abs/2411.13045

五、總結與展望

本文介紹了阿里媽媽實踐廣告在多模態和大語言模型方面的成功，雖然取得了不錯的收益，但仍需關注當前LLM線上服務中的實際應用情況。主要作為增強手段提供輔助最佳化。因此，如何設計高效能推理架構，使大模型真正實現線上實時應用，將成為下一階段的關鍵突破點。這不僅能帶來更全面的業務收益，也意味著更大的效率提升空間。

參與深度學習改造搜推廣系統的同行對此頗有深度接觸。在早期，DNN作為一種從CV和NLP領域蒐集來的技術，能否順利在搜推廣系統中引發曾一度令人擔憂的問題，整個落地過程充滿挑戰。然而，儘管現在DNN已經成為行業的標配，背後支撐這一變革的核心因素，是算力成本的指數級下降。大模型的發展趨勢亦然。當前LLM迭代受算力上限的否定，但可以預見，在不遠的未來，隨著計算成本的降低和推理架構的升級，LLM也將全面線上化，成為搜刮推廣系統的核心技術基礎。

參考文獻
[1] 大型語言模型綜述
[2] 預訓練、提示和預測——自然語言處理中提示方法的系統綜述
[3] 大型語言模型推薦系統綜述
[4] 多模態大型語言模型綜述
[5] 多模態推薦系統分類、評估及未來方向綜合綜述
[6] 多模態推薦系統綜述
[7] 預訓練、提示和推薦——推薦系統中語言建模正規化適應性的綜合調查
[8] 使用大型語言模型探索基於文字的協同過濾的上限 - 發現和見解
[9] 資訊檢索的大型語言模型——一項調查
[10] 面向下一代基於 LLM 的推薦系統：綜述及展望

相關文章