揭秘貨拉拉大模型應用平臺的應用部署

　　 背景介紹

　　隨著大語言模型（Large Language Model, LLM）湧現，如何高效落地應用LLM成為關鍵，以LLM為核心搭建各種Agent落地應用（AI Agent ）成為新風向。

　　貨拉拉在司機邀約、AI客服、創意生成等業務已經應用自研大模型提效，推進AI應用。各業務在摸索大模型落地的過程中，存在以下困難：

　　AI應用整合難

　　構建和使用AI應用的使用者可能是場內平臺能力，也可能是業務領域服務，也可能是飛書、瀏覽器外掛這樣的SaaS系統，另外還有其他應用場景或所需使用者。如何將AI應用和這些場景或使用者無縫整合將決定使用者體驗和效果。

　　資料分散

　　Prompt組裝或大模型的推理過程中可能涉及外部語料，這些語料來源存在多樣性（離線檔案、場內資料庫、第三方應用），且可能涉及資料的ETL過程和Embedding儲存和查詢。

　　落地成本高

　　各業務探索大模型落地需要定製化開發，例如會話記錄、模型抉擇、token分割等。

　　綜合如上現狀和問題，貨拉拉搭建了LLM應用平臺（視覺化介面，使用者可透過拖拽2min快速搭建部署應用），貼合業務側需求，降低業務和演算法應用大模型的成本，縮短接入週期，支援快速便捷構建AI應用提效能。

　　 LLM應用平臺

　　1 平臺架構

　　貨拉拉LLM應用平臺設計自下至上主要分為3大層：

　　基礎設施——最底層是平臺使用到的場內常用基礎設施，例如場內DB、監控、閘道器等

　　平臺層——透過簡單的拖拉拽式的低程式碼配置、編排、管理AI應用；整合場內監控設施實現AI應用呼叫監控和鏈路埋點分析等保障功能

　　業務層——指有計劃落地大模型能力的業務應用或場景，透過接入平臺提供的開放API，使用平臺內釋出的業務AI應用

　　基礎設施層：這一層分為 Data Service 和 hll知識庫&營銷資料，其中，Data Service為知識庫和營銷資料庫搭建提供技術支援；知識庫&營銷資料為上游chain或agent搭建提供資料基礎。

　　平臺層：透過管理平臺後端、web前端、open api 、 呼叫監控、異常告警、鏈路埋點整體組合構建應用平臺。分模組

　　1. 管理平臺後端：平臺後端主要分為模型工具管理、元件管理和AI應用管理中心

　　模型工具管理：支援新增、刪除、編輯等管理大模型，目前已支援貨拉拉自研貨運大模型、開源大模型和商業大模型

　　元件管理：該模組包含構建agent落地業務應用時所需的元件，支援新增、刪除、編輯等方式管理元件，為agent應用搭建奠定基礎

　　AI應用管理中心：該模組支援我們透過呼叫組建管理中的元件、模型工具管理中的大模型，透過視覺化介面拖拽相關元件快速搭建一個flow（AI應用），支援業務快速落地

　　2. web前端：將管理平臺後端功能前端視覺化展示。

　　3. open api：AI應用搭建完成後，可透過open api 對接業務，降低業務對接成本。

　　4. 呼叫監控、異常告警、鏈路埋點：負責監控上線的AI應用，當有異常情況時可及時報警提醒，同時可針對AI應用搭建過程中日誌資料埋點，便於我們在AI應用搭建過程中快速定位跟蹤問題、觀察效果等。

　　業務層：基於LLM應用平臺可直接對各業務賦能，支援業務快速應用大模型落地提效。業務方向包括但不限於智慧營銷（訊息、廣告、邀約、AI客服）、程式碼輔助（程式碼生成、程式碼檢查、程式文件編寫）、資料洞察（指標生成、報表分析、策略建議生成）、智慧問答（智慧檢索、知識庫、垂類專業助理）等。

　　2 平臺功能

　　平臺視覺化介面，零程式碼搭建應用。支援透過拖拽元件，幾分鐘快速搭建chain、agent等部署應用LLM，主要功能包含

　　元件&模型管理：

　　LLM接入管理：支援LLM的快速接入，包含自研大模型、開源大模型以及商用大模型等

　　元件工具管理：不同功能元件管理，例如，prompt、chain、tools、memory以及agent等

　　AI應用部署（反應流管理）：支援簡單拖拽連線元件，幾分鐘快速生成與釋出AI應用（對外API）

　　2.1 元件&模型管理

　　元件管理中心針對元件和模型進行管理，支援新增、檢視、上線、下線元件/模型。　　

　　新增元件：僅需簡單幾步資訊填寫，名稱、型別、元件屬性、輸入輸出引數等資訊，填寫無誤提交後便可上線對應元件。　　

　　2.2 AI應用管理

　　透過搭建flow快速部署應用大模型，flow管理中心可管理建立的flow，包括編輯、刪除、檢視、複製，上下線等操作。　　

　　每個AI應用目前以如下圖flow形式展示，透過拖拽左側元件到畫布上，填寫必要資訊後，連結元件即可搭建如圖Flow可生成對應業務的AI應用。　　

　　3 應用示例

　　貨拉拉LLM應用平臺，支援chain、agent搭建快速落地應用各類大模型。同時針對在業務場景中，prompt和文案不方便對外展示的情況，設計有prompt/文案庫隱身功能，便於我們管理自己的prompt和文案。

　　3.1 Chain

　　目前已實現Chain 搭建（LLM + Prompt），使用者可在LLM應用平臺上拖拽配置應用。同時，針對prompt和文案不方便展示的業務可選隱身，助力業務應用安全落地。

　　自定義prompt：使用者可透過寫prompt拖拽元件搭建chain。影片中以“幫我寫3個貨拉拉{節日名稱}營銷文案，文案中包含{獎勵內容}”為例，快速拖拽連結chain、prompt、LLM搭建chain部署上線應用生成營銷文案，整個過程在2min左右可完成。

　　prompt庫&文案庫隱身：針對prompt和文案不方便展示的業務，平臺支援呼叫自定義prompt庫和文案庫 。

　　如圖，在chain搭建過程中，prompt模組無需我們自寫prompt，few shot 示例文案僅需要指定所需的示例個數，flow可根據prompt庫和文案庫中我們設定的引數部署上線應用。

　　動態靈活prompt庫

　　同時針對prompt庫和文案庫搭建，我們設計了一套通用的prompt生成方案，一方面為平臺搭建和後續agent搭建提供資料基礎，另一方面，為之後貨拉拉營銷大模型搭建提供訓練和測試資料，助力構建貨運營銷大模型。

　　將prompt拆解生成動態靈活prompt，呼叫自研大模型生成營銷文案，將prompt、文案以及針對文案生成的標籤組合，可動態更新生成個性化prompt庫和文案庫。

　　prompt可以拆分通用模組、細化模組、個性化模組以及業務模組：

　　通用模組：由任務和主體構成，說明任務的主要目標

　　細化模組：該模組由文案庫、提示詞&memory、thought模組構成；文案庫除示例文案外，可透過LLM生成文案風格、關鍵詞等豐富文案庫；同時可透過one shot、few shot、以及長短期記憶，結合COT、self critics等思維方式細化prompt

　　個性化模組：根據業務場景訴求，結合司內活動、實時熱點、天氣預報等工具，生成滿足業務場景的個性化模組

　　業務模組：結合業務轉化效果以及greedy探索，支援挑選最優示例文案的同時，在探索（exploration）和利用（exploitation）之間進行權衡　　

　　3.2 Agent

　　貨拉拉LLM應用平臺支援快速構建Agent（LLM + Planning + Tools + Memory ），以基於私有知識庫的AI問答機器人搭建為例，展示LLM應用平臺如何快速搭建一個agent。

　　實現思路：針對使用者上傳文件，優先進行文件切分、embedding、向量儲存後，可以結合prompt與LLM搭建agent，這樣使用者提問後，agent可自動檢索並給出回答。　　

　　Agent 應用搭建：使用貨拉拉LLM應用平臺搭建智慧問答機器人，flow（AI應用）樣式如圖，各元件連結無問題後即可上線agent。　　

　　 業務落地

　　貨拉拉基於自研LLM應用平臺，已經在4個業務中的7個場景落地應用，助力業務提效。

　　落地業務：訊息中心、AI邀約、智慧廣告、輔助建模

　　落地場景：文案代寫、文案改寫、情緒/意圖識別、輔助標籤、關鍵詞總結等

　　1 智慧營銷

　　貨拉拉每月訊息傳送量高達26億，重複或近似的訊息推送會導致使用者疲勞，訊息點選率下降，甚至使用者可能關閉訊息推送通知，在訊息層面流失之後不能再次被觸達。

　　針對以上問題，我們在營銷訊息觸達時，採用AIGC輔助運營生成訊息文案和改寫訊息文案，助力運營提效、同時提高訊息的點選率。採用大模型生產AIGC文案，在貨拉拉LLM應用平臺，僅2min可快速搭建AI應用，支援業務落地。

　　文案代寫：使用者僅需輸入【關鍵詞】，透過flow 幾秒鐘可返回多個文案，在提升運營文案創作效率的同時，豐富了文案庫。例如，

　　關鍵詞：開城, 冷藏車上線, 贏x元京東卡　　

　　文案改寫：使用者僅需輸入【待改寫文案】，透過flow 可快速返回多風格候選文案，不僅提高文案改寫效率，同時也保證了文案的質量和使用者體感。例如，

　　標題：您有6張發貨神券已到賬！！

　　內容：月末省錢日，6張發貨神券已到您的賬戶，單張最高立減30元，快去下單吧>>　　

　　2 AI邀約

　　貨拉拉邀約中心已經積累了大量的線索，並且線索量還在不斷增加。不同邀約員針對邀約線索標註習慣不同，導致線索管理相對低效。

　　針對上述問題，採用LLM應用平臺構建AI應用，針對對脫敏線索資料處理，識別線索中司機的情緒和意圖，助力線索管理提效，進而提升線線索跟進率。

　　例如，針對以下兩個對話示例，透過LLM應用平臺flow，可以快速標記出司機的情感和意向。　

　　3 智慧廣告

　　貨拉拉廣告日均曝光量約2700w，廣告的曝光以圖片為主，但目前大模型針對圖片素材生成效果並不理想。針對廣告素材生成我們分步最佳化，優先支援素材文案生成和改寫在業務快速落地應用。

　　針對廣告文案代寫和改寫，透過LLM應用平臺搭建flow生成AI應用後，使用者僅需要輸入【業務線名稱】或者【待改寫文案】便可快速生成多候選文案，提升運營廣告素材生成效率以及廣告點選率。

　　文案代寫示例

　　業務線名稱：大車　　

　　文案改寫示例

　　待改寫文案：下單發貨搶紅包　　

　　4 輔助建模

　　LLM生成文案時需要運營輸入關鍵詞或者說明風格，輔助LLM更好的理解以生成更好的結果。初始階段我們可以運營輔助，長遠預期可自動化生產文案，自動化文案生成離不開優秀的文案庫，因此類似風格標籤、關鍵詞總結均可以輔助我們豐富文案庫，為未來自動化生產文案奠定基礎。

　　以下是在貨拉拉LLM應用平臺，針對風格標籤和關鍵詞總結的應用示例，flow應用搭建快速，且可快速響應，結果質量有保證。

　　風格標籤：針對文案可批次快速打上對應的風格標籤，輔助豐富文案庫

　　文案1：標題:速點！送您80元搬家券包；摘要:A.穩穩地接住 B.悄悄去下單

　　文案2：標題:您有新的優惠券入賬！；摘要:10元優惠券已發放到您的賬戶上，快去使用吧~

　　文案3：標題:貨拉拉誠邀您參與問卷調研；摘要:貨拉拉誠邀您參與問卷調研，並有機會獲得16元優惠券喔~

　　文案4：標題:要搬家？優惠券即將過期🚚；摘要:A.放棄優惠 B.點選預約無憂搬家，包搬包運>>

　　文案5：標題:（領）8.8折優惠券！；摘要:立享優惠，去發貨🚚🚚🚚

　　文案6：標題:您有新的優惠券到賬啦；摘要:16元調研優惠已到賬，快下單享受優惠吧　　

　　關鍵詞總結：可針對文案內容總結出核心關鍵詞，基於這些關鍵詞可再生成文案，豐富文案庫　　

　　 總結

　　針對貨拉拉司內LLM應用落地低效的問題，我們搭建了貨拉拉LLM應用平臺，大模型能力體系逐漸閉環，從完善的大模型工具鏈到AI開發平臺，助力加速AI應用落地。

　　LLM應用平臺支援對元件、模型、以及AI應用進行管理，同時視覺化介面，使用者可以透過簡單的拖拽連結元件幾分鐘快速搭建應用。使得應用大模型效率提升98.75%，平均接入耗時從24小時降低到18分鐘。

　　LLM應用平臺提供了大模型應用業務的通解，已在營銷文案生成、貨運邀約情緒識別、智慧廣告素材生成等7個業務場景落地。

　　LLM應用平臺也在逐步完善，會持續不斷迭代，為LLM在貨拉拉司內落地提供更優質、更高效的服務。