【講壇實錄】知識圖譜的探索與應用
01
知識圖譜到底是什麼?
語義網路是一種以網路格式表達人類知識構造的形式,是一種用 實體及其 語義關係來表達知識的 有向圖。而 知識圖譜是一種 基於圖的資料結構,是一種用 圖模型來描述知識和建模世界萬物之間關聯關係的 大規模 語義網路。
知識圖譜以 半結構化的形式 描述客觀世界中概念、實體及其關係。在知識圖譜裡,我們通常用“實體”來表達圖裡的節點、用 “關係” 來表達圖裡的 “邊”。
知識圖譜有 模式層和 資料層,右邊這張圖是模式層,描述的是實體型別(概念)之間的抽象關係;左邊這張圖則是資料層。
人工智慧分為三個階段,從 運算智慧到 感知智慧,再到 認知智慧。
在上述三個階段中,我們正逐步邁入第三個階段,當前研究的重心正在由感知智慧領域逐漸過渡到認知智慧領域。
認知智慧是人類特有的,建立在思考之上的智慧。而思考建立在知識之上。AI要從感知智慧邁向認知智慧,本質上知識是基礎,有了知識基礎,AI才能形成推理機制。而知識圖譜富含實體、屬性、概念和事件,並從關係的角度將這些資訊有機整合在一起。關鍵的是,它能夠基於一定的知識推理為AI的可解釋性帶來全新的一個視角。因此, 知識圖譜是認知智慧底層的一種必要支撐。
02
知識圖譜構建的基本流程有哪些?
知識圖譜的基本構建流程有資料歸集、知識抽取、知識融合、知識加工及知識應用。
資料歸集:資料來源不統一,對半結構化與非結構化資料需要進行資料抽取。針對構建知識圖譜,我們也需要設計底層的這種儲存方式。
資訊抽取:需要從各種型別的資料裡面去提取實體、屬性、實體之間的相互關係,在這個基礎上形成一些成體系化知識。
其中, 實體抽取會用到命名實體識別技術,抽取時從資料集裡自動識別命名實體。 關係抽取主要是獲得語義資訊,以此獲取實體之間的關聯關係。然後使用面向開放域和麵向封閉領域的這種抽取方法來進行一個整體的結合,通過關係將實體之間聯絡起來,進而形成結構化的網狀知識結構。 屬性抽取需要從不同資訊源或者資料來源裡採集特定實體的屬性資訊。 事件 抽取一般從標題或者動作裡抽取。
知識融合:獲取新的知識後對知識進行整合,消除矛盾與歧義。 實體對齊是將實體的各種名稱進行統一對齊。 指代消解是將文中的指代詞與所指實體進行整合。
知識加工:知識庫構建也稱之為本體構建。通過實體並列的關係進行相似度計算,對關係進行抽取,進行實體的生成等等,最終形成一種概念或框架。 質量評估是對知識的可信度進行量化,通過捨棄可信度低的知識來保障整個 知識庫的質量。 知識推理主要是處理知識圖譜之間關係值缺失一類的問題,通過基於邏輯的推理、基於圖的推理、基於 深度學習的推理來解決。 知識更新包括模式層(知識庫)的更新和資料層(資料儲存)的更新。
知識儲存:處理完成的知識需要儲存,有兩種儲存方式。一種是通過 資源描述框架RDF進行儲存。還有一種是使用圖資料庫(我們公司的StellarDB)。現在常用圖資料庫儲存,由於知識圖譜的網路可能涉及到上億的節點,有時甚至幾十億,傳統的資料庫難以勝任。而圖資料庫的儲存、查詢效率非常高。關聯查詢效率會比傳統資料儲存的方式要高得多。
03
知識圖譜主要依賴什麼技術?
在知識圖譜落地過程中,最重要的是要教會計算機知識推理的過程,而其中就需要用到 圖計算這種重要的技術支援。
圖計算演算法主要包括遍歷演算法(全盤訪問每一個節點)、社群發現(用於計算社交網路中人際關係)、PageRank(源自搜尋引擎,用於網頁連結排序) ,以及最短路徑演算法(解決圖結構中距離問題),在知識圖譜中主要應用 遍歷演算法進行知識推理,以發現實體間隱藏的關係。
知識圖譜適用於一些多元的、高維的、關係複雜的場景。例如股票投研情報分析、公安情報分析、反欺詐情報分析、智慧搜尋等。
04
Sophon KG為企業級知識圖譜落地帶來便利
Sophon KG是 一站式知識圖譜構建和分析應用平臺。為圖譜模式定義(包含藍圖定義和本體定義)、知識抽取(從文字標註、模型訓練到事件-實體-關係抽取)、知識融合(實體連結、實體合併)、知識儲存和檢索(對接星環自研的分散式圖資料庫StellarDB、可擴充套件的分散式全文搜尋引擎Scope和時空序列資料庫Spacture等)、知識推理(基於OWL進行本體推理和基於圖計算關聯性推理)做全鏈路的支撐和管理。
Sophon KG不僅支援零程式碼互動式圖譜查詢,還支援語義搜尋和推薦、基於圖演算法的模式發現(知識推理)、智慧問答、情感分析、時空分析等功能,從而幫助理解大資料,獲得對大資料的洞察,提供決策支援。
Sophon KG的產品架構如下:
05
Sophon KG有哪些強大功能?
1、零程式碼的圖譜構建能力
2、 互動式的圖譜構建
3、互動式的查詢,支援定向分析、路徑發現
4、強大的圖譜分析能力,支援圖譜對比、視覺化統計、時序分析
5、智慧搜尋,支援單個實體和批量實體的快速查詢
6、文字標註元件KG Anno,支援實體、關係和文字分類3種標註任務
7、全圖探索,提供3D大圖展示
06
知識圖譜的典型使用場景有哪些?
金融反洗錢場景
通過關聯查詢、視覺化圖分析、圖挖掘、機器學習和規則引擎;支援關聯關係資料的快速檢索、查詢和瀏覽;挖掘隱藏關係並模型化業務經驗,幫助金融機構的建立一個可持續、經濟可行的反洗錢合規框架。
金融反欺詐場景
針對大量資料,通過篩選分析合作關係、集團關係、投資關係、社團分類關係以及資產與負債等情況,識別風險客戶和風險集團,降低人力成本消耗並大幅提升反欺詐能力。
金融風險傳導場景
以公司為信用主體追蹤其發行的債券標的,結合公司信批等外部輿情,發現並量化重大風險事件,並通過信用主體的參控股關係、投資關係、分子公司關係、擔保關係、董監高關係等,實現債權信用傳導,影響企業 現金流變化,最終來判斷信用主體兌付情況。
07
知識圖譜的未來會走向何方?
知識圖譜應用正經歷爆發期,已由原先的語義知識圖譜不斷向行業細分知識圖譜發展,擴充出安全知識圖譜、金融知識圖譜等行業知識圖譜,及風控、 投研、營銷等場景化的知識圖譜。
據Gartner釋出的2020年資料與分析領域的十大技術趨勢表示,到2022年,知識圖譜技術實現100%的快速增長,到2023年,知識圖譜技術將促進全球30%的企業機構決策過程的快速情景化。相信未來,知識圖譜將與深度學習等AI前沿技術相結合,除金融、營銷等場景外,也對自然災害和其他危機的識別、預測和規劃發揮關鍵作用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2846475/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 知識圖譜|知識圖譜的典型應用
- 知識圖譜構建與應用
- 乾貨 | 知識圖譜的技術與應用
- 知識圖譜——技術與行業應用行業
- 知識圖譜Knowledge Graph構建與應用
- 知識圖譜的器與用(一):百萬級知識圖譜實時視覺化引擎視覺化
- 知識圖譜學習記錄--知識圖譜概述
- 美團知識圖譜問答技術實踐與探索
- 知識圖譜構建與應用推薦學習分享
- 知識圖譜01:知識圖譜的定義
- 【知識圖譜】知識圖譜資料構建的“硬骨頭”,阿里工程師如何拿下?深度學習在知識圖譜構建中的應用。阿里工程師深度學習
- NLPIR搭建行業知識圖譜實現智慧客服應用行業
- 人力資源知識圖譜搭建及應用
- KGB知識圖譜完善保險行業的知識應用體系行業
- 深化知識圖譜技術在網路安全領域融合應用,綠盟科技參與《知識圖譜選型與實施指南》編制
- 知識圖譜入門——知識表示與知識建模
- 知識點,如何應用“安全知識圖譜”識別內部威脅?
- 知識圖譜系統在人工智慧領域的應用與前景人工智慧
- 王昊奮知識圖譜學習筆記--第三講知識抽取與知識挖掘(上)筆記
- KGB知識圖譜開拓行業應用新展圖行業
- 美團大腦:知識圖譜的建模方法及其應用
- 知識圖譜增強下的智慧推薦系統與應用-於敬
- 【知識圖譜】知識圖譜實體連結無監督學習框架框架
- 知識圖譜技術的新成果—KGB知識圖譜介紹
- 【知識圖譜】 一個有效的知識圖譜是如何構建的?
- 知識圖譜之知識表示
- 這是一份通俗易懂的知識圖譜技術與應用指南
- 知識圖譜在網際網路金融行業的應用行業
- go 知識圖譜Go
- OI知識圖譜
- 安全知識圖譜 | 繪製軟體供應鏈知識圖譜,強化風險分析
- 一文詳解達觀資料知識圖譜技術與應用
- NLPIR系統構建知識圖譜助力智慧客服應用
- 知識圖譜與知識發現領域的頂級期刊與會議
- 美團基於知識圖譜的劇本殺標準化建設與應用
- NLPIR技術運用知識圖譜技術應用於智慧金融
- 面試圖譜:前端基礎技術知識講解面試前端
- 前端基礎技術知識講解-面試圖譜前端面試