大模型技術方向Task1筆記

乐池發表於2024-07-02

賽題概要

一、賽事背景
在當今數字化時代,企業積累了豐富的對話資料,這些資料不僅是客戶與企業之間交流的記錄,更是隱藏著寶貴資訊的寶庫。在這個背景下,群聊對話分角色要素提取成為了企業營銷和服務的一項重要策略。

群聊對話分角色要素提取的理念是基於企業對話資料的深度分析和挖掘。透過對群聊對話資料進行分析,企業可以更好地理解客戶的需求、興趣和行為模式,從而精準地把握客戶的需求和心理,提供更加個性化和優質的服務。這不僅有助於企業更好地滿足客戶的需求,提升客戶滿意度,還可以為企業帶來更多的商業價值和競爭優勢。

群聊對話分角色要素提取的研究,將企業對話資料轉化為可用的資訊和智慧的洞察,為企業營銷和服務提供了新的思路和方法。透過挖掘對話資料中隱藏的客戶行為特徵和趨勢,企業可以更加精準地進行客戶定位、推廣營銷和產品服務,實現營銷效果的最大化和客戶價值的最大化。這將為企業帶來更廣闊的發展空間和更持續的競爭優勢。

二、賽事任務
從給定的<客服>與<客戶>的群聊對話中, 提取出指定的欄位資訊,待提取的全部欄位見下資料說明。

三、評審規則
1.平臺說明
參賽選手需基於訊飛星火大模型V3.5完成任務。允許使用大模型微調的方式進行資訊抽取, 但微調的基座模型僅限星火大模型。

關於星火V3.5資源,組委會將為報名參賽選手統一發放API資源福利,選手用個人參賽賬號登入訊飛開放平臺:https://www.xfyun.cn/ ,前往控制檯中檢視使用。關於微調訓練資源,選手用參賽賬戶登陸大模型訓練平臺( https://training.xfyun.cn/overview ),可領取本次比賽的訓練資源福利。

2.資料說明
賽題方提供了184條真實場景的群聊對話資料以及人工標註後的欄位提取結果,其中訓練資料129條,測試資料 55條。按照各類欄位提取的難易程度,共設定了1、2、3三種難度分數。待提取的欄位以及提取正確時的得分規則如下:

大模型技術方向Task1筆記

備註:

1)可為空的欄位,當判定無相應資訊、無法做出判斷等情況,統一取值為空字串

2)對於非單值欄位,請使用list來表示

3.評估指標
測試集的每條資料同樣包含共21個欄位, 按照各欄位難易程度劃分總計滿分36分。每個提取正確性的判定標準如下:

1)對於答案唯一欄位,將使用完全匹配的方式計算提取是否正確,提取正確得到相應分數,否則為0分

2)對於答案不唯一欄位,將綜合考慮提取完整性、語義相似度等維度判定提取的匹配分數,最終該欄位得分為 “匹配分數 * 該欄位難度分數”

每條測試資料的最終得分為各欄位累計得分。最終測試集上的分數為所有測試資料的平均得分。

4.評測及排行
1)本賽題均提供下載資料,選手在本地進行演算法除錯,在比賽頁面提交結果。

2)排行按照得分從高到低排序,排行榜將選擇團隊的歷史最優成績進行排名。

賽題速通飛書

https://datawhaler.feishu.cn/wiki/VIy8ws47ii2N79kOt9zcXnbXnuS

跑通baseline

成績是18.06061,跑的還是比較艱難,報錯好幾次

構思idea,改進baseline

由於還是初學者,不太瞭解,在網上找了一點

  • 可以考慮使用併發處理來加速對大資料集的處理。使用concurrent.futures模組或multiprocessing模組來並行化任務。
  • 增加單元測試和整合測試,確保程式碼的可靠性和穩定性。

具體還是根據後面的學習精進

相關文章