本文分享自華為雲社群《知識圖譜與大模型結合方法概述》，作者： DevAI 。
《Unifying Large Language Models and Knowledge Graphs: A Roadmap》總結了大語言模型和知識圖譜融合的三種路線：1）KG增強的LLM，可在LLMs的預訓練和推理階段引入KGs；2）LLM增強KG，LLM可用於KG構建、KG embedding、KG補全、基於KG的文字生成、KBQA（基於圖譜的問答）等多種場景；3）LLM+KG協同使用，主要用於知識表示和推理兩個方面。該文綜述了以上三個路線的代表性研究，探討了未來可能的研究方向。
知識圖譜（KG）和大語言模型（LLM）都是知識的表示形式。 KG是符號化的知識庫，具備一定推理能力，且結果可解釋性較好。但存在構建成本高、泛化能力不足、更新難等不足。LLM是引數化的機率知識庫，具備較強語義理解和泛化能力，但它是黑盒模型，可能編造子虛烏有的內容，結果的可解釋性較差。可見，將LLM和KG協同使用，同時利用它們的優勢，是一種互補的做法。
LLM和KG的融合路線，可分為以下型別：
第一種融合路線是KG增強LLM，可在LLM預訓練、推理階段引入KG。以KG增強LLM預訓練為例，一個代表工作是百度的ERNIE 3.0將圖譜三元組轉換成一段token文字作為輸入，並遮蓋其實體或者關係來進行預訓練，使模型在預訓練階段直接學習KG蘊含的知識。
第二種融合路線是LLM增強KG。LLM可用於KG構建、KG embedding、KG補全、基於KG的文字生成、KBQA（基於圖譜的問答）等多種場景。以KG構建為例，這是一項成本很高的工作，一般包含1) entity discovery 實體挖掘 2) coreference resolution 指代消解 3) relation extraction 關係抽取任務。LLM本身蘊含知識，且具備較強的語義理解能力，因此，可利用LLM從原始資料中抽取實體、關係，進而構建知識圖譜。
第三種融合路線是KG+LLM協同使用，主要用於知識表示和推理兩個方面。以知識表示為例，文字語料庫和知識圖譜都蘊含了大量的知識，文字中的知識通常是非結構化的，圖譜裡的知識則是結構化的，針對一些下游任務，需要將其對齊進行統一的表示。比如，KEPLER是一個統一的模型來進行統一表示，它將文字透過LLM轉成embedding表示，然後把KG embedding的最佳化目標和語言模型的最佳化目標結合起來，一起作為KEPLER模型的最佳化目標，最後得到一個能聯合表示文字語料和圖譜的模型。示意圖如下：
小結：上述方法都在嘗試打破LLM和KG兩類不同知識表示的邊界，促使LLM這種機率模型能利用KG靜態的、符號化的知識；促使KG能利用LLM引數化的機率知識。從現有落地案例來看，大模型對知識的抽象程度高，泛化能力強，使用者開箱即用，體驗更好。且如果採用大模型+搜尋的方案，使用者更新知識的成本也較低，往知識庫加文件即可。在實際業務場景落地時，如果條件允許，優先考慮使用大模型。當前chatGPT火爆，也印證了其可用性更好。如遇到以下場景時，可以考慮將LLM和KG結合使用：
• 對知識可信度和可解釋性要求高的場景，比如醫療、法律等，可以考慮再建設知識圖譜來降低大模型回答錯誤知識的機率，提高回答的可信度和可解釋性。
• 已經有一個蘊含豐富知識的圖譜，再做大模型建設時。可以參考KG增強LLM的方法，將其知識融合到LLM中。
• 涉及基於圖譜的多跳推理能力的場景。
• 涉及基於圖譜視覺化展示的場景，比如企查查、天眼查等。
文章來自：PaaS技術創新Lab，PaaS技術創新Lab隸屬於華為雲，致力於綜合利用軟體分析、資料探勘、機器學習等技術，為軟體研發人員提供下一代智慧研發工具服務的核心引擎和智慧大腦。我們將聚焦軟體工程領域硬核能力，不斷構築研發利器，持續交付高價值商業特性！加入我們，一起開創研發新“境界”！
PaaS技術創新Lab主頁連結：https://www.huaweicloud.com/lab/paas/home.html
參考文獻：
Unifying Large Language Models and Knowledge Graphs: A Roadmap https://arxiv.org/abs/2306.08302