淺析大模型在銀行業客服中心的應用

隨著金融科技領域的不斷髮展，金融機構改變了傳統方式，將更多服務從線下轉移到線上，為了提升客戶體驗和效率，金融機構不斷探索自然語言處理、機器學習等技術手段來最佳化客服服務，其中大模型技術被廣泛應用，成為當前最熱門的研究方向之一， 是目前通往AGI的最佳實現方式。大模型最早的關注度源於NLP 領域 ， 隨著多模態能力的演進，CV 領域及多模態通用大模型也逐漸成為市場發展主流。

本報告主要針對當前最為熱門的大模型進行研究和分析，重點關注了它們在自然語言處理領域中具有的突出表現以及客服中心未來的應用前景。同時，本報告還探討了目前大語言模型所面臨的挑戰和限制，並提出了相應的最佳化建議，旨在為銀行業客服中心大模型研究提供參考。

一、 大模型發展背景

(一) 大語言模型誕生階段

• 2017 年穀歌推出用於處理自然語言任務的 Transformer 神經網路架構。

• 2018 年 OpenAI 釋出GPT - 1 。

(二) 大語言模型探索階段

• 2019 年OpenAI 釋出GPT - 2 部分開源模型。

• 2019 年穀歌推出BERT 模型。

• 2020 年百度推出可理解語義的ERNINE2.0 。

• 2021 年 OpenAI 推出能實現文字生成影像的DALL-E 模型。

• FaceBooK 推出CLIP 模型。

• 華為釋出盤古大模型。

• OpenAI 推出Codex。

(三) 大語言模型爆發階段

• 2022 年OpenAI 推出 ChatGPT-3.5 。

• 2023 年 OpenAI 正式釋出 GPT-4 預訓練大模型， 實現影像影片。 相比於GPT-3.5效能表現顯著提升，在一些專業和學術領域上已經達到了人類水平。GPT-4具有一定的多模態能力，能夠接收圖文結合的輸入 ， 並輸出文字回復，應用範圍得到進一步擴充。

• 微軟基於ChatGPT 釋出 New Bing 。 微軟宣佈將GPT-4接 ⼊Office全家桶 。

• FaceBook 釋出LLaMA - 13B 。

• 谷歌更新Bard 並推出PalM 2 模型。

• 復旦團隊釋出MOSS 。

• 阿里釋出大語言模型 “ 通義千問 ”，具備多輪對話、文案創作、邏輯推理、多模態理解、多語言支援等功能，以及外部增強 API 。目前釘釘、天貓精靈等產品已率先接入通義千問測試，高德地圖、餓了麼、盒馬、優酷、淘票票等產品也將有序接入通義千問大模型。 阿里巴巴所有產品未來將接入大模型，同時將與OPPO 、吉利、智己等企業展開合作 。

• 商湯發 布 “ 日日新SenseNova ” 大模型體系，推出自然語言處理、內容生成、自動化資料標註、自定義模型訓練等大模型及能力 ， 包括語言大模型 “ 商量SenseChat ” 和一系列生成式AI 應用 。

• 華為 推出的 盤古大模型則聚焦AI for Industry, 賦能千行百業應用落地， 有望推動人工智慧開發從 “ 作坊化 ” 到 “ 工業化 ” 升級。自研ModelArts 2.0 AI開發平臺、 昇騰 910 等算力晶片、兆瀚 RA5900-A系列等AI 訓練伺服器 。 昇騰AI 產業生態 已發展 20+ 家硬體合作伙伴，1000 + 家軟體夥伴 。

• 騰訊混元AI大模型。HunYuan 協同騰訊預訓練研發力量，旨在打造業界領先的 AI 預訓練大模型和解決方案 。 騰訊大模型可接入微信、遊戲、短影片、廣告、TO B端等優勢業務，騰訊在 SaaS 加速器、微信等業務均有大量合作伙伴 。

• 百度“ 文心一言 ” 中文理解能力強，並且支援從文字生成影像 、 音訊和影片，多模態能力。百度AI大底座可提升千卡並行加速比90%以上 。 目前已釋出36個大模型 以及 11個行業大模型 ， 生態已凝聚500 多 萬開發者 。

二、 大模型發展歷程和架構

(一) 大模型發展歷程

從基於規則到基於人的意識，大型語言模型是技術進步的必然產物。 自然語言處理發展到大型語言模型的歷程可分為五個階段：規則、統計機器學習、深度學習、預訓練、大型語言模型。從1956 年到 1992年，基於規則的機器翻譯系統在內部把各種功能的模組串到一起，由人先從資料中獲取知識，歸納出規則後教給機器，然後由機器執行這套規則，該階段為規則階段;從1993年到2012年是統計機器學習階段，機器翻譯系統可拆成語言模型和翻譯模型，該階段相比上一階段突變性較高，由人轉述知識變成機器自動從資料中學習知識，當時人工標註資料量在百萬級左右;從2013到2018年，進入深度學習階段，其相比於上一階段突變性較低，從離散匹配發展到連續匹配，模型變得更大，標註資料量提升到千萬級; 預訓練階段存在於2018年到2022年，跟之前比較，最大變化是加入了NLP自監督學習，將可利用資料從標註資料擴充到了非標註資料。

圖-大模型發展階段

大模型階段在資料標註、演算法、人機關係三方面的效能均有跨越式提升。從2023年起開始進入大模型階段，該階段的突變性很高，已經從專用任務轉向通用任務或是以自然語言人機介面的方式呈現，旨在讓機器遵循人的主觀意志。在資料標註方面，大模型已經從原來需要大量標註資料進化到運用海量非標註資料，越來越多資料被利用起來，人的介入越來越少，未來會有更多文字資料、更多其它形態的資料被模型運用。在演算法方面，大模型的表達能力越來越強、規模越來越大，自主學習能力越來越強，從專用向通用趨勢顯著。

(二) 大模型技術路線

大模型技術路線各有側重，MaaS已成產業趨勢 。 大型語言模型研究的發展有三條技術路線：Bert模式、GPT模式、混合模式。其中國內大多采用混合模式，多數主流大型語言模型走的是 GPT 技術路線，直到 2022 年底在 GPT-3.5的基礎上產生 了 ChatGPT。到 2019 年後，Bert路線基本沒有標誌性的新模型更新，而 GPT技術路線則趨於繁榮。從 Bert 往 GPT 演化的過程中，模型越來越大，所實現的效能也越來越通用。

大模型未來發展將趨於通用化與專用化並行 、 平臺化與簡易化並進。同時，MaaS 模式將成為AI應用的全新形式且快速發展，重構AI產業的商業化結構生態，激發新的產業 鏈分工和商業模式。未來，大模型將深入應用於使用者生活和企業生產模式， 釋放創造力和生產力，活躍創造思維 、 重塑工作模式，助力企業的組織變革和經營效率，賦能產業變革。

(三) 大模型技術架構

以ChatGPT背後技術為代表的人工智慧大語言模型正在催生新一輪人工智慧浪潮，在全球範圍掀起人工智慧大語言模型科技競賽，科技巨頭加快佈局，生成式AI領域風起雲湧。 AI大模型的技術架構分為基礎層、技術層、能力層、應用層、 使用者層五大板塊，基礎層涉及硬體基礎設施和資料、算力、演算法模型三大核心要素。技術層主要涉及模型構建 ，目前 Transformer 架構在AI大模型領域佔據主導地位，如 BERT 、GPT系列等。AI 大模型包括 NLP大模型、CV大模型、多模態大模型等。 能力層 擁有了文字、音訊、影像、影片、程式碼、策略、多模態生成等能力 ，應用於多個領域，為客戶提供產品和服務 ，架構圖如下所示。

圖-AI大模型技術架構

三、 大模型在客服中心應用

大模型在客服中心研發應用需具備資料資源、演算法和模型、資金和資源三要素。當前 大模型 在客服中心應用 面臨算力需求大、訓練和推理成本高、資料質量不佳、 跨場景適配效果弱，知識庫構建成本高、 隱私和安全問題等挑戰 。在客服中心應用主要存在如下問題：

資料問題

客服行業線上服務資料不足，資料的多樣性無法保障;行業資料標註困難，限制了資料積累數量和質量。知識庫知識泛化，條數和質量不高。

演算法問題

對於客服線上服務新場景，初期存在語料少，知識庫欠缺等情況。模型能力需要積累專案上的經驗，行業模型需要系統性提升。大模型考驗全棧大模型訓練與研發能力，如資料管理經驗、算力基礎設施 私有化建設能力及 工程化運營能力、底層系統最佳化和演算法設計能力等 。

邏輯推理問題

複雜、嚴謹、靈活的邏輯推理和自學能力仍然是目前大部分大語言模型面臨的核心挑戰。目前所知的大語言模型的湧現能力決定了大語言模型在邏輯推理等方面的基本表現、目前大部分大語言模型可以對人類情感做出簡單的判斷，理解和情感需求的基礎上創造內容是客服行業需求，在邏輯推理之上理解人類情感是智慧客服更高思考方式。當前多數理財顧問只能提供一些基礎的產品介紹和推薦，缺乏對規模龐大、維度多樣、瞬息萬變的金融市場資料開展全面、深入、靈活、有效的分析，投研效率不高。

時效性問題

以 ChatGPT 為基礎模型，通常基於歷史資料進行訓練，並不具備實時獲取和處理新資料的能力，難以即時更新模型中的知識儲備。對於客戶實時性較強的最新資訊或問題，模型可能會輸出不準確或錯誤的資訊，而要讓訓練資料囊括最新的客服資訊，對訓練的時間和成本消耗都非常大，更新速度會遠慢於搜尋引擎。

四、 大模型未來發展展望

隨著客戶數量的不斷增加，客戶對客服中心服務的期望也會不斷提高，銀行客戶服務中心如何交付功能強大的客戶服務支援變得尤為重要，需要大規模深度學習和遷移學習在一定的場景下用來提升A I 助手水平，並整合客服中心現有的自然語言處理、計算機視覺、智慧語音、知識圖譜等多個 AI 核心技術能力，打造銀行業客服中心 AI 大語言模型能力體系。並健全完善生成式 AI 安全應用相關制度。面對科技倫理風險，應透過建立有效的內容稽核和監管機制，防止生成及傳播不良和違法內容。強化大語言模型應用的技術監管和審查。探索大語言模型實際應用落地的具體風險防範措施和手段。

提升客服機器人意圖理解能力。在客服中心 大模型與專項資料結合， 可 提升客服機器人的意圖理解能力， 基於客服行業模型的意圖解析， 降低初期接入成本 。利用大模型的知識圖譜、自然語言處理技術和演算法模型，將複雜的問題轉化為簡單易懂的指令，提供更準確的答案。

提升 影片/虛擬人互動能力 。 隨著生成式AI與大語言模型的打通，影片/虛擬人制作週期將大大縮短，創作流程簡化。同時，鑑於大模型在使用者語言邏輯理解上的深化，虛擬人在 客服 場景應用中的識別感知能力和分析決策能力將顯著提高，提升溝通時的互動能力，更準確地滿足使用者個性化需求。