摘要：AIGC和多模態知識圖譜（MMKG）中的知識獲取又是怎麼實現的呢？他們之間有什麼關聯呢？
本文分享自華為雲社群《GPT-4釋出，AIGC時代的多模態還能走多遠？系列之四 AIGC for MMKG》，作者：碼上開花_Lancer。
與傳統知識圖譜不同，MMKG以多模態資料作為源頭，從多方面描述實體和關係，構建出一個可以跨越多模態的知識體系。在MMKG中，多模態資料不僅僅作為文字元號實體的關聯屬性存在，還可以作為圖譜中的實體存在，可與現有實體發生廣泛關聯。 MMKG的優勢在於它能夠消除多模態資料的異構性，將它們有機地結合在一起，使得系統能夠實現對多模態資料的更加全面和深入的理解。AIGC(生成式AI)可以利用多模態知識圖譜中的資訊來生成新的內容。例如AIGC（生成式AI）可以根據MMKG的文字和影像資訊，生成描述某個實體或者概念的新文字、影像或影片。這種結合可以提高生成內容的質量和準確性，所以多模態知識圖譜提供了豐富的上下文資訊，有助於生成式AI更好的理解和描述目標內容。那麼，AIGC和多模態知識圖譜（MMKG）中的知識獲取又是怎麼實現的呢？他們之間有什麼關聯呢？
01 大模型知識抽取：利用Prompt機制來獲得多模態大模型中富含的知識
大型預訓練模型的興起，知識知識獲取已經成為當前自然語言處理領域的熱門話題。利用大模型的知識抽取方法可以幫助我們更好地探索和利用多模態大模型中豐富的知識資源。 在知識抽取的過程中，Prompt機制被廣泛應用。它透過給模型提供一些輸入提示，來引導模型生成對應的輸出序列。這種方法不僅可以在文字方面得到很好的應用，也可以在多模態知識獲取方面產生卓越的效果。例如，在影像描述生成領域，我們可以將關鍵詞或者句子作為prompt輸入，用以指導模型生成適當的影像描述。
與此類似的，利用Prompt機制可以讓模型以更優秀的方式使用多模態知識。透過針對特定場景和任務設計的Prompt，模型能夠更精準地理解和應用多模態知識，從而提高知識的知識獲取效率。這種方法的優點在於它可以幫助模型理解多模態資料之間的相互關係，並引導模型實現跨模態知識表示和推理。 利用Prompt機制進行多模態抽取是一種非常有效的方法，可以顯著提高多模態大模型的知識利用效率。同時，這種方法還可以幫助我們更好地理解和應用不同型別的知識，從而推動自然語言處理技術的發展。未來，我們可以進一步最佳化Prompt機制的設計，以適應更多樣化的知識抽取需求，實現更高效、準確和全面的多模態知識獲取。
（以上圖片來自網路）
02 AIGC為知識獲取降本增效：零樣本、少樣本、開放知識獲取
隨著自然語言處理技術的不斷髮展和完善，知識獲取的效率和成本問題逐漸受到人們的關注。在這個背景下，AIGC作為知識獲取方面的重要研究方向，受到了越來越多的關注和重視。 在實際應用中，難免會遇到資料量不足的情況，這時候零樣本或者少樣本學習就顯得尤為重要。透過使用大模型進行輔助，可以有效提升模型對於零樣本或少樣本的學習能力，從而降低對於資料量的依賴性，大幅提升知識抽取的效率。同時，在多模態知識的獲取過程中，大模型也表現出了非常出色的表現。它可以將不同模態的資料進行關聯推理，從而幫助我們更好地獲取跨模態知識，提高知識抽取的全域性性和準確性。 此外，開放知識獲取也是目前研究的熱點之一。傳統的知識獲取方法需要大量的人工參與，成本高昂且效率低下。而透過利用大模型進行知識獲取，則可以極大地減少人工成本，提高知識獲取的效率和準確度。這使得開放知識獲取變得更加容易，為知識抽取的自動化、高效化奠定了基礎 。
(以上圖片來自網路)
03 AIGC為知識獲取降本增效：顯著增強垂域多模態知識獲取能力
如何更加高效地獲取和利用知識已經成為了自然語言處理領域中的一個非常重要的問題，在這個過程中，AIGC(增強智慧領域)技術正發揮著重要的作用，透過降低知識獲取的成本、提高獲取效率等方面的最佳化，使得多模態知識獲取能力顯著增強。
其中，GPT-4和ChatPDF等大型預訓練模型已經表現出了非常強大的領域知識抽取能力，特別是在基於多模態文件抽取方面有著出色的表現。這些模型能夠透過深度學習等技術，從海量的文字和影像中快速篩選和抽取有用的資訊，並進行分類、歸納等操作，為使用者提供精準、有效的知識支援。
(以上圖片來自網路)
04 AIGC助圖譜設計一臂之力：輔助Schema半自動化設計
大模型在部分領域上擁有領域常識知識，可以輔助完成Schema的半自動化設計，AIGC為知識推理保駕護航：輔助知識圖譜（KG）表示學習與知識圖譜（KG）補全，AIGC為知識融合掃清障礙：輔助Scheme融合與實體對齊。
（以上圖文來自網路）
05利用大模型的泛化能力和海量知識，可以輔助完成多模態知識圖譜融合
在知識推理方面，AIGC技術可以輔助KG表示學習和KG補全。基於大模型的強大自然語言處理能力和海量知識的支援，AIGC技術可以從各個文件、影像和影片中快速抽取有用資訊，並自動填充到知識圖譜中，從而提高知識圖譜的完備性和準確性，並支援更加深層次的知識推理。
（以上圖文引用來自http://arxiv.org/abs/2206.14268 和http://arxiv.org/abs/2212.05767）
其次，在知識融合方面，AIGC技術也可以幫助我們進行Scheme融合和實體對齊。透過大模型的泛化能力和領域常識知識，AIGC技術可以自動進行Schema匹配和實體對齊，並解決知識圖譜中的冗餘、不一致等問題，從而實現知識融合的自動化和高效化。
最後，利用大模型的泛化能力和海量知識，我們還可以輔助完成多模態知識圖譜的融合。在這一過程中，AIGC技術可以利用多種資料來源和多種表達形式，如文字、影像和聲音等，來構建更加全面和豐富的多模態知識圖譜，並支援多模態知識的推理和應用。 除了上述提到的應用場景，AIGC技術還可以在其他領域中發揮重要作用。例如，在醫療、金融和物聯網等領域，AIGC技術可以幫助企業和機構更好地瞭解和管理自己的業務和流程，從而提高生產效率和服務質量。 在醫療領域，AIGC技術可以協助醫生進行病例診斷和治療方案設計。透過分析大量的臨床資料和病例資訊，AIGC技術可以自動生成病例分類、藥品推薦、治療方案等智慧化輸出，從而幫助醫生更加準確地診斷疾病和制定治療計劃，並提高治療效果。 在金融領域，AIGC技術可以輔助企業進行風險評估和投資決策。透過分析市場資料、企業財報和行業趨勢等資訊，AIGC技術可以提供智慧化的投資建議和風險預警，從而幫助企業和投資者做出更加準確的投資決策，並降低投資風險。 在物聯網領域，AIGC技術可以幫助企業更好地管理和監測裝置狀態和資料流。透過連線各種感測器和智慧裝置，AIGC技術可以實現資料採集、處理和分析，並透過自動化控制和預測性維護等手段，提高裝置利用率和效率，降低生產成本和機器故障率。
總之，AIGC技術的應用使得知識推理和融合變得更加高效、精準和自動化，從而大大提高了多模態知識圖譜（MMKG）的實用性和應用價值。透過生成式AI技術，也可以自動化地從大量的資料中提取和整合多模態知識圖譜（MMKG）資訊，形成結構化的知識表示，提高多模態知識圖譜（MMKG）的構建效率，豐富多模態知識圖譜（MMKG）的內容，進一步推動知識表示和處理領域的發展。未來，我們可以進一步探索多模態知識圖譜（MMKG）和擴充AIGC技術的應用場景，開發更加豐富和智慧的知識服務和應用，為人類知識創造和創新提供更加強有力的支援。
參考：
部分內容參考來自復旦大學教授李直旭《AIGC時代的多模態知識工程思考與展望》
論文：《Google’s PaLM-E is a generalist robot brain that takes commands》
《X. Zhu, Z. Li et. al. Multi-Modal Knowledge Graph Construction and Application: A Survey, Accepted by TKDE in Dec. 2022
http://arxiv.org/abs/2206.14268 和http://arxiv.org/abs/2212.05767