知識圖譜|知識圖譜的典型應用
我們構建知識圖譜的目的,在於利用知識圖譜來做一些事情。有效利用知識圖譜,就是要考慮知識圖譜的具備的能力,知識圖譜具有哪些能力呢,首先我們知道知識圖譜包含了海量的資料,是一個超級知識庫,所以我們可以依賴它進行搜尋一些內容,由於知識圖譜的資料組織方式是計算機能理解的,具有語義,這種搜尋可以定義為語義搜尋。第二,對搜尋進行延伸,搜尋的結果可能會有很多,按照一定的規則排序,如果只取最可能的答案,就變成了問答系統,這也是知識圖譜的典型應用。第三,將知識圖譜與其它技術進行結合,可以充分利用知識圖譜的知識,比如將使用者的個性化特徵與知識圖譜結合,能夠得到個性化推薦系統。第四,將知識圖譜的資料進行深度分析,按照一定的規則進行推斷,還可以得到輔助決策。
1 語義搜尋
知識圖譜的概念,最早就是由谷歌提出,大家知道,谷歌是做搜尋引擎的,它提出知識圖譜的概念,就是為了最佳化搜尋。語義搜尋作為一個概念,起源於常被稱為網際網路之父的Tim Berners-Lee 在2001 年《科學美國人》(Scientific American)上發表的一篇文章。其中,他解釋了語義搜尋的本質。
語義搜尋的本質是透過數學來擺脫當今搜尋中使用的猜測和近似,併為詞語的含義以及它們如何關聯到我們在搜尋引擎輸入框中所找的東西引進一種清晰的理解方式。
百科給出了更明確地定義,也更容易理解。
所謂語義搜尋,是指搜尋引擎的工作不再拘泥於使用者所輸入請求語句的字面本身,而是透過現象看本質,準確地捕捉到使用者所輸入語句後面的真正意圖,並以此來進行搜尋,從而更準確地向使用者返回最符合其需求的搜尋結果。
舉例來說,我們用百度來搜尋“現任美國總統的夫人”的圖片,搜出來的多數是美國總統川普的夫人,還有少量克林頓和奧巴馬伕人的圖片,說明搜尋引擎理解了我們的搜尋內容,給我們找到了我們想要的答案。少量前任總統夫人的結果,說明搜尋技術還需要進一步完善,可以把這部分內容看作是噪聲,應該過濾掉的,隨著演算法的改進,結果應該會更加準確。
語義搜尋是知識圖譜最典型的應用,它首先將使用者輸入的問句進行解析,找出問句中的實體和關係,理解使用者問句的含義,然後在知識圖譜中匹配查詢語句,找出答案,最後透過一定的形式將結果呈現到使用者面前。
2 智慧問答
智慧問答,就是透過一問一答的形式,使用者和具有智慧問答系統的機器之間進行互動,就像是兩個人進行問答一樣,具有智慧問答系統的機器就像一個智者一樣,為使用者提供答案,友好的進行交談。
作為人工智慧的一個重要應用案例,智慧問答系統在很多場景中發揮作用。
比如原來很多的線上客服,正在部分的被智慧問答系統取代,早些年銀行、電信等行業的線上客服,不同業務按不同的數字,在進入細分業務,繼續選不同的數字,一直要選很多次,有了智慧問答,會簡化這些繁瑣的過程,直接根據使用者的問話,給出答案。當然,現在的智慧問答,還不夠完善,只能部分取代線上客服,如果不能提供有效的答案,還是要由人工客服提供服務。還有一些智慧問答機器人,也會提供一些簡單的服務,比如給孩子用的機器人,可以提供兒歌、算術、詩詞、語文、英語等方面的內容,代替了老師的一部分職能。還有一些聊天機器人,提供情景對話,就像一個人一樣,和使用者進行聊天。
同為智慧問答,特點不同,依賴的知識圖譜技術也不同,聊天機器人,不僅提供情景對話,也能夠提供各行各業的知識,它依賴的知識圖譜是開放領域的知識圖譜,提供的知識非常寬泛,能夠為使用者提供日常知識,也能進行聊天式的對話。那些行業用的智慧問答系統,依賴的是行業知識圖譜,知識集中在某個領域,專業知識豐富,能夠為使用者有針對性的提供專業領域知識。
智慧問答,可以看作是語義搜尋的延伸,語義搜尋的結果會按照某種規則進行排序,依據一定的演算法將最相關的排在前面,我們使用百度、谷歌搜尋引擎進行搜尋時,結果可能包括很多頁,就是語義搜尋的常見形式。智慧問答,屬於一問一答,只要一個答案,也就是將最相關的那個答案反饋給使用者,如果像聊天一樣,不斷地進行問答,回答不僅僅是在知識庫中搜尋,還要考慮前面的聊天內容。
3 個性化推薦
個性化推薦是根據使用者的個性化特徵,為使用者推薦感興趣的產品或內容。百度百科給出的定義是:
個性化推薦系統是網際網路和電子商務發展的產物,它是建立在海量資料探勘基礎上的一種高階商務智慧平臺,向顧客提供個性化的資訊服務和決策支援。
我們上網的時候會經常查詢一些我們感興趣的頁面或者產品,在瀏覽器上瀏覽過的痕跡會被系統記錄下來,放入我們的特徵庫,比如對於電子商務網站來說,如果我們想購買筆記本,就會在電子商務網站上檢視比較不同商家的筆記本,我們再次開啟電子商務網站的時候,筆記本這個產品就會優先顯示在商品列表中,供我們選擇。再比如,瀏覽新聞,如果我們對體育類或者社會熱點很關注,新聞APP就會給我們推薦體育題材或者社會熱點的新聞。
個性化推薦系統透過收集使用者的興趣偏好、屬性,產品的分類、屬性、內容等,分析使用者之間的社會關係,使用者和產品的關聯關係,利用個性化演算法,推斷出使用者的喜好和需求,從而為使用者推薦感興趣的產品或者內容。
4 輔助決策
輔助決策,就是利用知識圖譜的知識,對知識進行分析處理,透過一定規則的邏輯推理,得出對於某種結論,為使用者決斷提供支援。以下是百科給出的定義。
輔助決策系統,以決策主題為重心,以網際網路搜尋技術、資訊智慧處理技術和自然語言處理技術為基礎,構建決策主題研究相關知識庫、政策分析模型庫和情報研究方法庫,建設並不斷完善輔助決策系統,為決策主題提供全方位、多層次的決策支援和知識服務。
隨著我國日益變為老齡化社會,養老問題成為人們關注的焦點,也成為研究的重要課題。對一個地區來說,應該採用什麼樣的養老模式,配套設施應該如何建設,才能解決老人的養老問題。就需要對這個地區的老人、基礎設施、配套情況、周圍環境等建立知識庫,分析老人日常生活,發現問題,對資料進行彙總,根據已有事實得出結論,為政府制定政策提供決策支援。這裡面最基礎的問題是建立所有資料的知識圖譜以及有效的推理規則,最後才能得出有意義的結論。
知識圖譜知識點:
一、知識圖譜概論
1.1知識圖譜的起源和歷史
1.2知識圖譜的發展史——從框架、本體論、語義網、連結資料到知識圖譜
1.3知識圖譜的本質和價值
1.4知識圖譜VS傳統知識庫VS關聯式資料庫
1.5經典的知識圖譜
1.5.1經典的CYC, WordNnet, WikiData, DBpedia, YAGO, NELL等知識庫
1.5.2行業知識圖譜:
Google知識圖譜,微軟實體圖,阿里知識圖譜,醫學知識圖譜,基因知識圖譜等知識圖譜專案
二、知識圖譜應用
2.1知識圖譜應用場景
2.2知識圖譜應用簡介
2.2.1知識圖譜在數字圖書館上的應用
2.2.2知識圖譜在國防、情報、公安上的應用
2.2.3知識圖譜在金融上的應用
2.2.4知識圖譜在電子商務中的應用
2.2.5知識圖譜在農業、醫學、法律等領域的應用
2.2.6知識圖譜在製造行業的應用
2.2.7知識圖譜在大資料融合中的應用
2.2.8知識圖譜在人機互動(智慧問答)中的應用
三、知識表示與知識建模
3.1知識表示概念
3.2 知識表示方法
a.語義網路 b.產生式規則 c.框架系統 d.描述邏輯 e.本體 f.RDF和RDFS
g.OWL和OWL2 Fragments h.SPARQL查詢語言
i.Json-LD、RDFa、HTML5 MicroData等新型知識表示
3.3典型知識庫專案的知識表示
3.4知識建模方法學
3.5知識表示和知識建模實踐
1.三國演義知識圖譜的表示和建模實踐案例
2.學術知識圖譜等
四、知識抽取與挖掘
4.1知識抽取基本問題
a.實體識別 b.關係抽取 c.事件抽取
4.2資料採集和獲取
4.3面向結構化資料的知識抽取
a.D2RQ b.R2RML
4.4面向半結構化資料的知識抽取
a.基於正規表示式的方法 b.基於包裝器的方法
4.5.面向非結構化資料的知識抽取
a.實體識別技術(基於規則、機器學習、深度學習、半監督學習、預訓練等方法)
b.關係抽取技術(基於模板、監督、遠端監督、深度學習等方法)
c.事件抽取技術(基於規則、深度學習、強化學習等方法)
4.6.知識挖掘
a.實體消歧b.實體連結c.型別推斷 d.知識表示學習
4.7知識抽取上機實踐
A.面向半結構化資料的三國演義知識抽取
B.面向文字的三國演義知識抽取
C.人物關係抽取
五、知識融合
5.1知識融合背景
5.2知識異構原因分析
5.3知識融合解決方案分析
5.4.本體對齊基本流程和常用方法
a.基於文字的匹配 b.基於圖結構的匹配 c.基於外部知識庫的匹配
e.不平衡本體匹配 d.跨語言本體匹配 f.弱資訊本體匹配
5.5實體匹配基本流程和常用方法
a.基於相似度的例項匹配 b.基於規則或推理的實體匹配
c.基於機器學習的例項匹配 d.大規模知識圖譜的例項匹配
(1)基於分塊的例項匹配
(2)無需分塊的例項匹配
(3)大規模例項匹配的分散式處理
5.6 知識融合上機實踐
1.百科知識融合
2.OAEI知識融合任務
六、儲存與檢索
6.1.知識圖譜的儲存與檢索概述
6.2.知識圖譜的儲存
a.基於表結構的儲存 b.基於圖結構的儲存
6.3.知識圖譜的檢索
a.關聯式資料庫查詢:SQL語言 b資料庫查詢:SPARQL語言
6.4.上機實踐案例:利用GraphDB完成知識圖譜的儲存與檢索
七、知識推理
7.1.知識圖譜中的推理技術概述
7.2.歸納推理:學習推理規則
a.歸納邏輯程設計Øb.關聯規則挖掘 c.路徑排序演算法
上機實踐案例:利用AMIE+演算法完成Freebase資料上的關聯規則挖掘
7.3.演繹推理:推理具體事實
Ø a.馬爾可夫邏輯網 b.機率軟邏輯
7.4.基於分散式表示的推理
a.TransE模型及其變種 b.RESCAL模型及其變種
c.(深度)神經網路模型介紹 d.表示學習模型訓練
7.5.上機實踐案例:利用分散式知識表示技術完成Freebase上的連結預測
八、語義搜尋
8.1.語義搜尋概述
8.2.搜尋關鍵技術
a.索引技術:倒排索引
b.排序演算法:BM25及其擴充套件
8.3.知識圖譜搜尋
a.實體搜尋
b.關聯搜尋
8.4.知識視覺化 a.摘要技術
8.5.上機實踐案例:SPARQL搜尋
九、知識問答
9.1.知識問答概述
9.2.知識問答基本流程
9.3.相關測試集:QALD、WebQuestions等
9.4.知識問答關鍵技術
a.基於模板的方法
b.語義解析
c.基於深度學習的方法
9.5.上機實踐案例:DeepQA、TemplateQA
學習和關注人工智慧技術與諮詢,更多詳情可諮詢175-3102-1189(v同號)。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70021344/viewspace-2918840/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 知識圖譜01:知識圖譜的定義
- 知識圖譜學習記錄--知識圖譜概述
- 知識圖譜之知識表示
- 知識圖譜構建與應用
- go 知識圖譜Go
- OI知識圖譜
- 【知識圖譜】知識圖譜資料構建的“硬骨頭”,阿里工程師如何拿下?深度學習在知識圖譜構建中的應用。阿里工程師深度學習
- 知識圖譜技術的新成果—KGB知識圖譜介紹
- 【知識圖譜】 一個有效的知識圖譜是如何構建的?
- 知識圖譜學習
- Http/2知識圖譜HTTP
- 知識圖譜的器與用(一):百萬級知識圖譜實時視覺化引擎視覺化
- 知識點,如何應用“安全知識圖譜”識別內部威脅?
- KGB知識圖譜,利用科技解決傳統知識圖譜問題
- 知識圖譜入門——知識表示與知識建模
- 人力資源知識圖譜搭建及應用
- 知識圖譜——技術與行業應用行業
- 知識圖譜Knowledge Graph構建與應用
- KGB知識圖譜完善保險行業的知識應用體系行業
- 乾貨 | 知識圖譜的技術與應用
- 安全知識圖譜 | 繪製軟體供應鏈知識圖譜,強化風險分析
- 【知識圖譜】知識圖譜實體連結無監督學習框架框架
- 知識圖譜丨知識圖譜賦能企業數字化轉型
- 事理圖譜,下一代知識圖譜
- 知識圖譜入門2
- NumPy基礎知識圖譜
- 01 知識圖譜概論
- KGB知識圖譜開拓行業應用新展圖行業
- 【講壇實錄】知識圖譜的探索與應用
- 知識圖譜和行業領域的結合產物-KGB知識圖譜介紹行業
- 構建知識圖譜-初學
- Go知識圖譜討論帖Go
- 知識圖譜 KnowledgeGraph基礎解析
- 美團大腦:知識圖譜的建模方法及其應用
- 手把手 | 事理圖譜,下一代知識圖譜
- 00 知識圖譜 課程導讀
- 如何高效學習 Kubernetes 知識圖譜?
- 企業級知識圖譜的案例分享