【獲獎案例巡展】信創先鋒之星——中信證券基於國產圖資料庫構建企業圖譜的應用實踐
為表彰使用大資料、人工智慧等基礎軟體為企業、行業或世界做出傑出貢獻和巨大創新的標杆專案,星環科技自2021年推出了“新科技 星力量” 星環科技科技實踐案例評選活動,旨在為各行業提供更多的優秀產品案例,彰顯技術改變世界的力量,目前已成功舉辦兩屆,收到了來自各界的積極參與。
第二屆星環科技科技實踐案例評選活動新增了“年度信創先鋒之星”,經過產業界、學術界專家聯合評審,最終評選出了 “年度信創先鋒之星”、“年度科技向善之星”、年度價值貢獻之星”、“年度科技前沿之星”、“年度技術革新之星”五大獎項,並特此進行案例巡展。
本期巡展案例為獲得第二屆“新科技 星力量” 星環科技科技實踐案例評選活動“年度信創先鋒之星”的 中信證券股份有限公司”基於國產圖資料庫構建企業圖譜的應用實踐”。
案例背景
中信證券股份有限公司於2021年啟動國產圖資料庫專案。專案開展之前,中信證券已基於主流的Neo4j開源產品構建了企業圖譜及相關應用,但是隨著應用的廣泛深入,Neo4j開源產品也遇到了不少難題,包括只能部署成單例項,不能做叢集;社群開源版本最多用到 4個核心,計算能力有限;沒有統一資源管理和許可權管理等。隨著國產圖資料庫越來越成熟,大型銀行已廣泛佈局國產圖資料庫。中信證券基於星環科技分散式圖資料庫StellarDB和知識圖譜平臺Sophon KG知識圖譜重構了企業圖譜及相關應用,滿足了企業級的系統建設需要,實現了分散式叢集管理,統一的資源隔離與許可權管理,計算效能的最佳化提升,以及豐富的視覺化效果等。
解決方案
基於星環科技StellarDB和Sophon KG重構了企業圖譜及相關應用,該系統架構取代了依賴py2neo第三方外掛的資料處理框架,使用星環科技大資料開發工具TDS產品,實現資料處理和排程的統一管理,將資料儲存到大資料元件hive中,實現了歷史資料的資料遷移,也安排了全量和增量的抽取排程任務。首日遷移時使用全量排程任務,平時按照增量排程。
依託強大的元件技術,圖譜管理系統擁有統一的叢集運維管理,以及統一的資源隔離與許可權管理。系統的底層為一個多模的資料處理平臺,該平臺可以提供統一的資料操作、查詢語言 SQL、統一的資料計算引擎、統一的分散式儲存管理系統及統一的資源管理框架,滿足利用一個多模異構平臺處理多種資料的需求。StellarDB圖資料庫構建在這個資料處理平臺之上。其圖儲存技術為自研KV儲存,儲存設計按照屬性圖模型設計。StellarDB滿足TB級儲存需求。儲存按照點邊主鍵進行雜湊分割槽,使圖均衡的分到叢集的各個節點上。圖計算技術為自主研發的分散式計算引擎Nucleon,計算引擎能根據不同的儲存引擎自動匹配高效能演算法,無需使用者手工干預,從而便捷地實現跨庫關聯,避免資料匯入匯出。在圖資料庫服務的頂層,還提供了豐富的介面,如Java、Python、RESTful API等,方便自定義開發。
在StellarDB上層,基於Sophon KG構建企業圖譜及相關應用。Sophon KG具有圖譜釋出、圖譜查詢,以及圖譜分享等基本功能,同時還能方便地支援各類業務應用,提供豐富的互動分析功能。開發了圖計算服務,以及關聯企業資料查詢等多種應用服務,併發布了對應的API介面,供應用方進行呼叫。基於應用安全考慮,採用post方式提供介面,並賦予每個業務部門一個訪問ID。
最上層的應用方包括集團客戶畫像、風險事件報告、科創板關聯發現以及聯機分析等。集團客戶畫像在公司內有廣泛的應用,包括集團客戶對公司的貢獻價值,各業務收入和覆蓋情況,滿足人民銀行對金融控股公司報送需求,以及同一客戶授信等;風險事件報告結合風險輿情事件,自動觸發相關分析報告,提供關聯公司和關聯標的持倉等影響分析;科創板關聯發現旨在查詢融券客戶與戰略投資者之間是否有利益關係,屬於一種多層模式匹配分析。此外,系統還支援多使用者的聯機查詢分析,業務使用者可以線上進行案例分析及分享等。
案例實施成效
透過星環科技StellarDB和Sophon KG,中信證券打造了全新的企業圖譜管理系統,實現了一站式的運維管理、排程管理和許可權管理等,在部分應用效果中相比neo4j社群版效能有了較大提升,並在業務易用性方面也有了長足進步,具體如下:
架構提升方面:實現了軟硬體國產化替代Linux伺服器;依託StellarDB實現了分散式叢集,一站式圖譜管理,替代了單機分應用部署;依靠星環科技強大的元件技術,實現了便捷的管理工具(監控+許可權),替代了無統一監控運維管理工具;該系統架構取代了依賴py2neo第三方外掛的資料處理框架,使用星環科技TDS實現資料處理和排程的統一管理;實現了統一的api介面管理,替代了介面未封裝的情況。
效能最佳化方面:在集團派系演算法應用上,該演算法從單機執行模式到分散式執行模式,由原來的2小時左右,提升到30分鐘左右;科創板關聯發現應用方面,由原來的1.5 s提升到0.8 s。
業務易用方面:提供了豐富的視覺化效果,實現了多種前端佈局;實現了iframe嵌入其他業務系統效果;改變了neo4j社群辦上單一彈力圖展示,需要獨立開發展現的局面;星環科技也提供了全天候暖心服務+定製開發,改變了高度依賴社群的局面。
案例創新點
國產替代方面,作為國內券商首批引入國產圖譜廠商構建知識圖譜中臺的案例,在與國產伺服器、國產作業系統適配等方面取得了較多的實踐經驗,對券商行業構建具有自主可控能力的圖譜中臺具有示範效應。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2946820/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 【獲獎案例巡展】信創先鋒之星——浙江省某市區影片能力中心
- 證券圖譜平臺國產化替代實踐
- Flink 流處理在中信建投證券的實踐與應用
- 興業證券基於Apache DolphinScheduler的應用實踐Apache
- 淺析證券行業資料庫基礎平臺創新實踐行業資料庫
- 基於 Nebula Graph 構建百億關係知識圖譜實踐
- 【獲獎案例巡展】科技向善之星——中航電梯5G+大資料管理平臺大資料
- 紫光西部資料助力中信建投證券實現海量資料儲存創新
- 圖資料庫|如何從零到一構建一個企業股權圖譜系統?資料庫
- 圖資料庫|如何從零到一構建一個企業股權圖譜系統資料庫
- 基於 EventBridge 構建資料庫應用整合資料庫
- 知識圖譜構建與應用
- 安信證券資管清算重要業務在原生分散式資料庫的創新實踐分散式資料庫
- 【知識圖譜】知識圖譜資料構建的“硬骨頭”,阿里工程師如何拿下?深度學習在知識圖譜構建中的應用。阿里工程師深度學習
- 從圖譜看美創,全面覆蓋中國信通院《資料安全產品與服務圖譜2.0》
- NLPIR系統自動構建企業上市大資料知識圖譜大資料
- 企業級知識圖譜的案例分享
- 知識圖譜Knowledge Graph構建與應用
- 中國信通院:零信任產業圖譜產業
- 實驗案例1構建簡單的金融知識圖譜
- [知識圖譜構建] 一.Neo4j圖資料庫安裝初識及藥材供應圖譜例項資料庫
- 東方證券:中國半導體產業投資地圖產業地圖
- 美團圖資料庫平臺建設及業務實踐資料庫
- 易念科技喜獲第七屆“雲鼎獎”抗疫先鋒企業獎
- 亞信安慧AntDB資料庫——實時流資料處理的先鋒資料庫
- 使用Java和Neo4j構建圖資料庫應用Java資料庫
- 高精地圖資料應用分發引擎建設實踐地圖
- 2022年中國信創產業拳頭獎在穗揭曉 GBASE斬獲“最佳資料庫品牌”產業資料庫
- GBASE榮獲“2022證券基金行業資訊科技應用創新聯盟年度優秀成員獎行業
- 亞信科技AntDB資料庫榮獲“2021金融科技應用創新突出貢獻獎”資料庫
- GBASE南大通用受邀參加2021中國信創產業發展峰會 榮獲年度最佳企業級應用獎產業
- 為知識的海洋繪製地圖 —— 利用CirroData-Graph圖資料庫構建知識圖譜地圖資料庫
- 安全知識圖譜|構建APT組織圖譜,打破資訊孤島效應APT
- TiDB 在國信證券海量資料高併發場景中的實踐TiDB
- Flink 在中泰證券的實踐與應用
- EasyMR 基於國產化信創的適配實踐技術詳解
- NebulaGraph 圖資料庫完成鯤鵬、飛騰、海光等國產 CPU 信創相容性認證資料庫
- 基於LLM Graph Transformer的知識圖譜構建技術研究:LangChain框架下轉換機制實踐ORMLangChain框架