企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案

机器之心發表於2024-12-16
大模型

12 月 12 日，由中國人工智慧產業發展聯盟（AIIA）指導、北京中關村科金技術有限公司主辦的【2024 大模型技術與應用創新論壇】在北京成功舉辦。

圖片
論壇現場，中關村科金總裁喻友平正式釋出大模型時代的 “三級引擎戰略”，推出重磅升級的得助大模型平臺 2.0，以及一系列大模型應用。其中，得助大模型平臺 2.0 具備算力統一排程能力、一站式模型訓推、應用快速構建三大核心能力，並基於企業級最佳實踐沉澱上百個全場景套件，能夠幫助各類企業快速構建和部署自己的大模型應用，顯著降低企業大模型落地成本。

基於得助大模型平臺 2.0，中關村科金已與各行業夥伴一起構建了 200 + 覆蓋智慧營銷、智慧客服、智慧運營和知識管理四大核心場景的應用，現場重點展示了大模型外呼、大模型接警助手、大模型陪練和大模型財富助手在幫助企業實現對外增長和對內提效的實戰效果。

喻友平認為，大模型行業的發展已不再是暴風驟雨的狂飆狀態，而是真正進入到精細化落地的程序中，平臺＋應用＋服務是企業大模型落地的最佳路徑。

以下為演講實錄

尊敬的各位領導、朋友，歡迎大家來到今天下午這個論壇。今天非常熱鬧，人非常多，就像大模型技術和應用現在非常熱烈的狀態，非常應景。過去一年多的時間裡，大模型技術一直在不斷進步，無論是鄭院士還是斯坦利（Kenneth Stanley）對大模型技術都提出了一些觀察、預測，當然還有一些擔憂。對企業界來說，特別是對中關村科金這樣的 "大模型 + X" 的企業來說，我們更關心的是如何將大模型應用到企業以及各種場景中，真正找到價值。

可以看到，整個業界對行業大模型和 AI 大模型解決方案的發展還是非常樂觀。從兩家國際知名諮詢公司的報告來看，從 2024 年到 2028 年，大模型市場複合增長率的預測基本是 40%-50% 以上的增速。在這種情況下，大模型應用將必然有一個蓬勃的爆發。
圖片
中關村科金作為一線參與者來說，還是看到很多挑戰。比如成本的問題。現在把大模型應用到實際的業務中，成本不低。即使不做基礎大模型研發，就是做 TTS/NLP，算力還好，最關鍵的是標註成本，尤其是需要很多高精度、高準確的資料，這都是時間成本和人力成本。在資料的獲取方面，本身處理的難度不小。其實構建一個場景大模型，並不需要海量資料，萬級別的資料就可以解決很多問題。但技術和需求的匹配也是實踐過程中的問題，如何把技術和需求匹配，相信也是今天在座大部分人非常關心的問題。

雖然媒體對大模型的普及做得非常好，但我們對大模型邊界的認知程度，分析業務場景中問題和提供解決辦法的能力，以及跟公司業務系統和流程如何建立連結形成技術解決方案，在這些方面坦率說我們還處於非常早期的階段，仍有許多需要探索的，所以這些方面的人才也是非常缺乏的。除了大模型技術，大模型應用人才的需求量也遠大於市場供給。

對企業來說行業 Know-how 上也有很多不足。每個行業都有行業獨特的問題，有些問題在一個行業裡很關鍵，但換一個行業就會發生變化。在非常細分的場景中，需要大模型應用廠商和客戶有非常深度的溝通。此外，新技術在法規和倫理風險方面都會面臨新挑戰，比如資料安全性，使用者隱私安全，所以對於大模型應用，法律法規和制度的健全也是迫在眉睫的。
圖片
當然市場在不斷進步，在過去一年多時間，我們在不斷跟大模型客戶交流的過程中略有心得。

第一，無論是大模型還是任何技術，其商業本質還是要幫客戶解決問題。比如一個裝潢公司，希望透過電話外呼觸達客戶後從公域轉私域加友，這個場景看起來就是做訓練、部署、外呼，TTS 跟 ASR 結合起來就可以搭建。但想在業務中發揮作用，提高轉化率，就不能這麼簡單。其中有很多具體的技術問題，比如大模型幻覺消除，在企業的應用中是非常普遍的需求。我們和裝潢行業公司的合作，經過七次迭代，把私域加友轉化率從 1.5% 提升到 3.5%。

第二，端到端的解決方案。大模型可以生成 Agent，矽谷現在已經把 Agent 當成一個新的 API，但一個 API 無法構成一個業務系統，也無法讓你的業務有質的飛躍。在這個過程中非常重要的是實現端到端的產品體系。舉一個例子，中關村科金重點在做的是連線企業和客戶全流程的智慧化。這個過程中有幾個關鍵點。首先是全媒體聯絡中心，這是企業跟客戶連線的基礎平臺，這個平臺看似是基礎軟體，但其中的業務流程、業務邏輯非常複雜。中關村科金過去花了很多年才把這一套產品建設得比較完善。純粹做大模型技術的公司沒有這樣的平臺能力，需要建立在別人的平臺能力之上，那提供的產品解決方案就是硬湊出來的，適配就差很多。

中關村科金在一個全媒體聯絡中心打造了語音和文字兩類機器人，同時提供面向坐席效能最佳化的助手、質檢和陪練的三件套。這三件套在任何場景下都可以使用，幫企業做好培訓，還可以監督效果。在金融行業落地智慧客服，不能只做客服機器人，而是把 “1 個聯絡中心 + 2 個機器人 + 3 個套件” 的全套解決方案提供給客戶，實現端到端的智慧化。大模型時代，數字化 + 智慧化的升級思路是一個非常關鍵的點。

第三，全鏈條的服務。各行各業有著豐富的應用場景，既有面向外部客戶的，也有面向內部員工的，這兩類體驗的提升就是大模型在企業落地的兩個最重要方向。在這個過程中，企業需要建立大模型的內生能力。大模型基於企業內部的資料做一個發電站，電發出來之後，具體用在什麼地方需要企業內部有管理和調配的能力。我們為國內若干個頭部央國企提供了平臺解決方案及實施，同時在平臺之上合作應用開發，幫助客戶解決內部的辦公、寫作、客服、營銷等各類場景的需求。更重要的是，我們還提供陪伴式服務，包括資料標註、問題定義、檢測方案的實施等等。

所以這三個方向是我們現在認為市場上真正需要的大模型應用，既要能夠解決客戶的核心問題，又要能提供端到端解決方案，同時還要有全鏈條的服務。
圖片
中關村科金基於 10 年來積累的 ToB 服務經驗，加上大模型智慧升級過程中的沉澱，我們今天正式釋出中關村科金大模型時代企業智慧化升級的 “三級引擎戰略”。

首先是平臺，智慧化平臺 + 數字化平臺才能讓企業的數字化真正進入一個智慧化階段。所以平臺本身是大模型落地的技術引擎。

其次是應用，在企業經營全流程的各個環節中，都可以透過大模型進行智慧化的升級，包括營銷、運營、服務、知識管理等，甚至像生產、供應鏈、財務等場景都有可能利用智慧化和數字化的平臺相結合，打造智慧化的應用。所以應用是大模型落地的產品引擎。

第三是服務。企業 “最後一公里” 的交付還有一個關鍵點就是服務。服務是一個價值引擎，最終要讓客戶、企業把大模型用起來，包括諮詢服務、平臺搭建、應用除錯和效果運營都是缺一不可的。

因此，平臺 + 應用 + 服務是企業大模型真正實現落地的最佳路徑。這既是我們的心得，也是希望跟各行業進行分享探索，如何讓中國的大模型落地更快更好。
圖片
對中關村科金來說，我們定位是領先的大模型技術與應用公司。在 2018 年，我們釋出了全媒體聯絡中心。2019 年把傳統的基礎 AI 能力，如 OCR、TTS、ASR 用到了平臺智慧化裡。中關村科金一直緊隨著人工智慧技術，從上一代以 CV 和語音為主的智慧化技術到現在的大模型技術，一直跟隨著大模型技術不斷演進，面向企業的服務和產品進行升級。2020 年釋出了音影片平臺、遠端雙錄等，其中用到如 OCR、人臉識別技術，讓雙錄場景效率和效果更優。2021 年釋出了坐席效能最佳化套件，2022 年釋出了營銷服一體化平臺，2023 年釋出了行業大模型。2024 年，一年的過程中我們不斷利用大模型能力重構所有的應用產品。
圖片
基於中關村科金的 “三級引擎戰略”，向大家介紹我們的產品全景圖。透過全媒體聯絡中心和音影片平臺這兩大數字化平臺，把企業與客戶連線的各種渠道、各種媒介進行很好的整合，以及企業與內容員工的連線。在此之上，得助大模型平臺可以提供從算力排程，模型訓推到智慧體構建。再結合企業的應用場景，在智慧營銷、智慧客服、智慧運營、知識管理等領域提供非常豐富的產品解決方案。同時結合各行各業的應用場景推出了一系列場景解決方案。這是中關村科金過去一段時間裡的心得和方法。
圖片
今天，中關村科金重磅釋出得助大模型平臺 2.0，它具備算力統一排程，一站式模型訓推，應用快速構建三大能力。算力統一排程能夠對 GPU 算力進行共享排程，對模型統一納管，包含所有的開源模型和開放的 MaaS 平臺等最前沿的大模型技術，同時也兼顧了國產化信創適配。在模型訓推方面，支援訓推一體化，量化壓縮及模組化的部署。智慧體構建，自主編排視覺化工作流，多 Agent 協同自主任務規劃。最重要的是中間全場景套件，這些都是基於各類場景應用的企業級最佳實踐沉澱而來。
圖片
我們把多個行業套件都沉澱在得助大模型平臺，每個套件都是極具針對性的場景解決方案，要綜合運用資料流、Agent 流、工作流組合，用大模型、小模型、MoE 模型組合，還有 SFT 模型，每個場景都經過實踐檢驗，最後沉澱在平臺上。得助大模型平臺 2.0 已經沉澱了上百個通用套件和行業套件。這樣一個靈活的大模型平臺，企業只需要 5 分鐘即可構建自己專屬的場景應用。企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案透過得助大模型我們已與各行業夥伴一起構建了 200 + 大模型應用，覆蓋智慧營銷、智慧客服、智慧運營和知識管理四大核心場景。接下來分享幾個典型案例。
圖片
第一個案例是智慧營銷場景。現在機器人坐席表現愈發接近人工坐席的表現。在大模型外呼實際執行過程中，機器人說話時有很多口語化內容，這是基於一些績優的客服人員、營銷人員做的最佳化。有幾個關鍵點，比如附近門店的推薦，因為這是一個本地化的服務，不可能推薦一個很遠的地址。機器人可以說出離客戶最近門店，這種親切感會讓客戶的體驗更好。結合品牌資訊、營銷目的，作為一個外呼人員的任務不是隨便聊天，而是需要引導客戶留下聯絡方式、做好客戶預約。整個過程每個小技術點都需要專門最佳化。企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案
在這個場景下，大模型外呼把過去傳統 AI 外呼的轉化率成功的從 1.5% 提高到 3.5%，人工外呼的比例是 4.1%，所以大模型外呼跟人工外呼成功的比例只有不到 17% 的差距。而且隨著技術的提升，大模型外呼超越人工外呼轉化率是有可能的。這中間要突破很多技術難點，需要增強 RAG 技術，Agent 協同技術，運用對產品的理解及最佳化資料學習，才可以打造出高擬人、高專業的外呼機器人。很多機構都在預測，未來 5-10 年，人工外呼 BPO 或將被機器人替代。基於大模型外呼的 BPO，具有標準化、覆蓋廣、成本低的特點，未來會成為外呼 BPO 的主流。這是第一個方向。
圖片
再講一個跟每個人都息息相關的生活場景，就是大模型賦能反詐接警全流程，守護百姓錢袋子。這是一個典型的民生應用場景。電信詐騙隨時隨地都在發生，公安部反詐中心 2023 年的資料顯示，破獲詐騙案件超過 47.3 萬件，預警指令達到 940 萬，見面勸阻人次 1389 萬，攔截金額 3288 億。這是接到報警已破獲的，還有大量未報警未破案的。大模型如何在這個場景中發揮價值，起到關鍵性作用呢？企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案
這段對話其實是 96110 反詐接警的真實對話場景。以往是靠接警人員手動記錄，包括轉賬給誰，轉出帳號是多少，報警人身份證號是多少等核心資訊。這時候最緊急的事是止付，也就是制止轉移支付，有的地方要用手寫記錄再聯絡銀行止付。在大模型接警助手的輔助下，接警人員一邊接電話，大模型同步把對話中的關鍵資訊全部提取出來，記錄到系統裡，最短時間就可以傳送到銀行系統進行止付操作。這樣的反詐接警過程，透過大模型最佳化，讓接警到止付的週期從 30 分鐘縮短到 2 分鐘。這看似不是大模型應用的常規場景，但卻切切實實守護了老百姓的錢袋子。
圖片
剛才說的過程看似非常簡單，大家可以想像一下對大模型的挑戰是什麼？最大的挑戰是準確度一定要高，因為這涉及到銀行賬號和接警人員與銀行系統的操作，所以要花大量時間對優秀樣本進行提煉，報案人員的口音也要用各種方式進行精調，最後才可以達到非常高的準確度。從實驗室產品到真正可落地可應用的產品，這中間的距離中關村科金有深刻的親身體會。我們做了大量的技術工作，才使得準確率達到可使用的狀態。其實在更多的民生場景包括社群服務領域，社群民警、社工要做大量的服務性工作，如果可以用大模型提升他們的工作效率，這個世界會變得更加美好。

除了在服務方面的最佳化，還有一個非常典型的場景叫陪練。特別是像銷售人員，對很多企業來說員工培訓是剛需。大模型將企業培訓物料自動消化並轉化為劇本，生成一個數字人跟員工對話，幫助員工模擬更好地跟客戶溝通。在溝透過程中大模型可以提示他應該說什麼話。下面這個影片展示的是一個汽車營銷人員的培訓案例，將這款汽車相關介紹資料直接上傳，就可以生成各種指令碼，然後就可以模擬真實場景對練了。企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案
可以看到透過這種培訓方式，可以把一個新人快速培訓成一個專業的汽車銷售人員。這個過程中綜合運用了多種跨模態技術，包括大模型技術的生成，機器人陪練，高擬人的數字人模擬。透過運用智慧陪練平臺，銷售線索留資的獲取比例明顯提升，達到 20%，劇本構建週期可以縮短 80%，員工學習效率提升 70%，能力評估的準確率提升到 30%。
圖片
最後一個是大模型賦能財富顧問的場景。很多金融機構的財富顧問要掌握大量專業知識跟客戶交流溝通，而一名財富顧問每天可以接待的客戶數量有限。如何幫助財富顧問提供更好、更貼心的服務就非常關鍵了。這個過程中，大模型的作用很多，包括透過資料的綜合運用實現多後設資料融合，比如市場資訊、企業年報、研報觀點自動提取等。以及結合客戶需求洞察和產品理解等實現客戶意圖挖掘，更好的匹配推薦理財產品。企業大模型落地關鍵是什麼？這家領先的大模型技術和應用公司給出答案
在這樣的過程中，融合市場、產品文件、研究報告，包括企業內部的系統、資料進行連線。財富顧問在展業的過程中就有了一個百寶箱，相當於他身邊有一個老師傅不斷指導他如何做好工作。這個過程是財富顧問不斷學習跟客戶交流的過程，幫助他們更好地展業。目前在多家頭部證券公司都在落地這樣的應用。
圖片
在智慧營銷、智慧客服、智慧運營、知識管理幾個場景，大模型的應用都是非常典型的。同時服務是非常重要的價值引擎。中關村科金提供全鏈條交付與服務的體系，包括諮詢到平臺構建、應用搭建，持續運營，全鏈條給客戶提供專業、貼心的服務。
圖片
同時我們攜手行業夥伴，搭建了非常豐富的場景應用，都是結合客戶需求和痛點，結合客戶的業務流程、業務系統進行端到端的打造。
圖片
此外，我們推出了面向中企出海的 Instadesk 平臺，幫助客戶針對出海業務量身打造全球聯絡中心，一站式服務全球客戶。對海外客戶來說社交媒體的渠道更重要，開放性更強。我們可以為企業官網、電商獨立站提供多國語言的國際化服務，多媒體全渠道覆蓋，以及安全合規保障。截至目前，我們已經提供 30 種以上的語言，覆蓋兩百多個國家線路、十多種國際化渠道，已成功服務了數十家出海中企以及海外直客。
圖片
最後，中關村科金期待把大模型的技術與應用，以及過去這些年的沉澱，輸出給合作伙伴。攜手千行百業，共赴行業大模型落地的奇點時刻。

相信只要我們面向客戶的關鍵需求，迴歸商業本質，解決客戶的實際問題，並且提供端到端的解決方案，做好貼身服務，堅定的與客戶一路同行。中國也好，世界也好，大模型的落地一定會迎來一個全面開花的時刻。

大模型的落地從過去的 “暴風驟雨”，到現在的 “潤物細無聲”，我們相信踏實篤行者，雖遠行必至。圖片

相關文章