基於AI知識庫RAG的綜合視窗系統

PetterLiu發表於2024-09-15

基於AI知識庫RAG的綜合視窗系統banner

背景

電子政務網上大廳統一接件系統是為各市、區(市)縣所有行政權力事項(行政許可、行政處罰、行政強制、行政徵收、其他行政權力等)實現線上統一接件、辦理排程、辦件過程資訊查詢、結果查詢及公開、服務評價、辦件統計等功能的應用系統,它透過標準資料介面、基於政務資訊共享交換平臺實現與行政審批系統等市級綜合業務平臺、地稅局網上辦稅系統等部門業務平臺、電子監察系統等應用實現互聯互通,辦件資料共享,為沒有業務系統的部門及事項提供線上接件功能,透過該系統形成一個真正意義的線上辦事服務平臺,將分散於不同業務系統的接件平臺統一到政府入口網站,讓使用者不再跑網上的分散視窗。針對政府網站資訊搜不到、搜不全的問題,平臺對網站資訊進行結構化處理,透過構建資訊知識圖譜,整合轄區情況介紹、政策檔案、辦事服務、熱門問答等內容,形成知識庫。市民只需輸入關鍵詞或問題,平臺就能迅速總結提煉相關資訊,有效提升諮詢效率和準確度。GPT智慧客服透過對大量政策檔案的深度學習,精準把握政策深層含義,當企業使用者、普通市民只需線上輸入問題,平臺即可智慧匹配相關政策法規和辦事流程等資訊,並生成清晰、簡潔的解讀及指導,有效破解傳統智慧客服“不解人意”“答非所問”的問題,幫助公眾更好理解政策。以下實踐某政務綜合視窗接件系統基於RAG的實踐

RAG(Retrieval-Augmented Generation)

RAG技術全稱為“檢索增強的生成”,它將傳統的資訊檢索技術與現代的自然語言生成技術相結合,旨在提高文字生成的準確性和相關性。這種技術透過引入外部知識源,使得語言模型在生成文字時能夠參考更廣泛、更準確的資訊,從而顯著提升生成內容的質量和可信度。

RAG技術主要由兩個核心元件構成:檢索元件和生成元件。

  1. 檢索元件:負責從大型知識庫中檢索出與給定輸入相關的資訊。這個知識庫可以是維基百科、專業期刊、書籍等任何形式的文件集合。檢索元件通常使用向量檢索技術(如FAISS或Annoy庫)來快速定位相關文件或文件片段。

  2. 生成元件:是一個預訓練的Transformer模型(如GPT或BERT),它結合了原始輸入和檢索元件提供的外部資訊來生成文字。生成元件能夠根據融合了檢索資訊的上下文生成回答或續寫文字,從而確保生成內容的準確性和豐富性。

流程

image


資料流

image

功能架構

image


Elastic k-Nearest Neighbor (kNN) Search

k 最近鄰 (kNN) 演算法對密集向量型別的欄位執行相似性搜尋。這種型別的搜尋更合適地稱為“近似 kNN”,接受向量或嵌入作為搜尋項,並查詢索引中接近的條目。以下圖片來自Elastic官方image



實踐

將之前收集到政策相關事項docx檔案,195個文件上傳知識庫,包含 事項要素,材料模板,審查樣表 的docx文件,其中審查樣表部分docx包含圖片

clip_image002


如下是已經匯入完成

clip_image004

解析完成後

clip_image006

資料管理可檢視匯入文件詳情

clip_image008

clip_image010

建立索引

clip_image012

知識庫管理

clip_image014

知識庫基於向量儲存ElasticSearch

clip_image016

已經自動切片

clip_image018

命中測試

clip_image020

應用配置 對應知識庫

clip_image022

測試對話

clip_image024

前端UI編寫

clip_image026

最終我們看到 綜合視窗的AI助手

入口


clip_image028

智慧AI對話與諮詢

clip_image030

示例2

clip_image032

示例3

clip_image034

我們可以看HTTP 請求響應體

clip_image036

第二部分

clip_image038

總結

我們看到電子政務網上大廳綜合視窗接件基於RAG實現準確智慧助手。RAG技術在多個領域具有廣泛的應用前景,包括但不限於問答系統、文字摘要、對話系統、企業資訊庫建設、AI文件問答、業務培訓、科研等場景。透過結合檢索和生成兩種技術,RAG技術為這些領域提供了更加高效、準確和可靠的解決方案。



今天先到這兒,希望對雲原生,技術領導力, 企業管理,系統架構設計與評估,團隊管理, 專案管理, 產品管理,資訊保安,團隊建設 有參考作用 , 您可能感興趣的文章:
構建創業公司突擊小團隊
國際化環境下系統架構演化
微服務架構設計
影片直播平臺的系統架構演化
微服務與Docker介紹
Docker與CI持續整合/CD
網際網路電商購物車架構演變案例
網際網路業務場景下訊息佇列架構
網際網路高效研發團隊管理演進之一
訊息系統架構設計演進
網際網路電商搜尋架構演化之一
企業資訊化與軟體工程的迷思
企業專案化管理介紹
軟體專案成功之要素
人際溝通風格介紹一
精益IT組織與分享式領導
學習型組織與企業
企業創新文化與等級觀念
組織目標與個人目標
初創公司人才招聘與管理
人才公司環境與企業文化
企業文化、團隊文化與知識共享
高效能的團隊建設
專案管理溝通計劃
構建高效的研發與自動化運維
某大型電商雲平臺實踐
網際網路資料庫架構設計思路
IT基礎架構規劃方案一(網路系統規劃)
餐飲行業解決方案之客戶分析流程
餐飲行業解決方案之採購戰略制定與實施流程
餐飲行業解決方案之業務設計流程
供應鏈需求調研CheckList
企業應用之效能實時度量系統演變

如有想了解更多軟體設計與架構, 系統IT,企業資訊化, 團隊管理 資訊,請關注我的微信訂閱號:

image_thumb2_thumb_thumb_thumb_thumb[1]

作者:Petter Liu
出處:http://www.cnblogs.com/wintersun/
本文版權歸作者和部落格園共有,歡迎轉載,但未經作者同意必須保留此段宣告,且在文章頁面明顯位置給出原文連線,否則保留追究法律責任的權利。 該文章也同時釋出在我的獨立部落格中-Petter Liu Blog。

相關文章