星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

星環科技發表於2022-05-10
星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值



Transwarp StellarDB是星環科技自主研發的分散式圖資料庫,相容openCypher查詢語言,提供海量圖資料的儲存和分析能力,支援原生圖儲存結構,支援萬億邊PB級資料儲存。同時,StellarDB具備毫秒級點邊查詢能力,10+層的深度鏈路分析能力,提供近30種的圖分析演算法,具備資料2D和3D展示能力。星環科技StellarDB在金融、政府和社交網路等領域應用,並且在某地電信關係圖譜場景實現了9700億邊規模的儲存和穩定執行,真正意義上將萬億級圖資料庫能力應用落地。

近日,星環科技分散式圖資料庫正式釋出StellarDB 4.0,在資料匯入、多跳查詢和圖演算法效能方面實現了數倍升級,同時在易用性、安全性、運維管理、和開放性等方面全面升級,幫助企業使用者更快、更高效地挖掘海量資料互聯價值。


全新的分散式架構,資料載入、查詢和演算法效能數倍提升

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

隨著網際網路時代的快速發展,企業資料呈現爆發式的增長,資料之間的關聯愈發複雜,這些給圖資料庫的效能帶來很大的挑戰,資料儲存、查詢和計算能力成為衡量資料庫效能的關鍵能力。StellarDB 4.0對分散式儲存和計算架構進行升級,資料載入、查詢和演算法效能提升數倍,達到行業領先水平。

在相同的測試環境中,在十億級邊規模資料集Twitter-2010下,StellarDB資料載入速度是開源圖資料庫Neo4j的2倍。

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

StellarDB4.0在多跳查詢方面具有優異的效能表現,當路徑長度設為6跳時,StellarDB查詢響應速度是Tigergraph的2-4倍,在Twitter-2010資料集上,其餘兩款圖資料庫產品在半小時內未返回結果。

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

在圖演算法效能方面,StellarDB4.0具有很大效能提升,在常用的四種圖演算法PageRank、弱連通子圖、強連通子圖和LPA演算法方面,StellarDB具有顯著的效能優勢。

在PageRank方面,StellarDB效能是TigerGraph的2-3倍,是Neo4j的3-6倍,可以幫助使用者更加快速高效的實現計算網路中點的相關性。例如在網頁排名場景中,StellarDB可以幫助使用者更加快速高效的實現網頁排名。

在強連通子圖方面,StellarDB效能是TigerGraph的6-7倍,是Neo4j的3-6倍,可以幫助使用者更加快速高效的遍歷有向圖中每個點和每條邊。例如在社交網路中的社群發現,洗錢環節的賬戶閉環查詢跟蹤等場景,StellarDB透過全域性遍歷,快速發展某社群人員或有洗錢嫌疑賬戶的關聯關係分析。

在LPA方面,StellarDB表現出更加優異的效能,在千萬級邊Graph500資料集下,接近TigerGraph的4倍,是Neo4j的8倍以上,而在十億級邊Twitter-2010資料集下,只有StellarDB在秒級響應,其餘圖資料庫產品在30min內均無響應結果。該演算法可以幫助使用者實現從已標記的節點標籤資訊來預測未標記的節點標籤資訊。

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

StellarDB優異的效能將滿足使用者PB級資料量儲存,K跳鄰居查詢和演算法快速響應需求,帶給使用者極致的使用體驗,幫助使用者更快、更高效地挖掘資料價值。


更多演算法、更多資料型別,易用性多重提升

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

易用性是企業圖資料庫選型的重要指標,關係到使用者用圖資料庫解決業務問題的效率和成本。星環科技StellarDB支援openCypher查詢語言,簡潔易懂,即可實現複雜場景的查詢任務,並且在openCypher基礎上進行了擴充套件,引入資料匯入,圖演算法,建模等語法,以更好地提高使用者使用效率。

StellarDB4.0支援更多的資料型別,支援Array、Decimal高精度資料型別。同時支援類SQL語言定義圖schema,讓圖建模和圖匯入更加便捷。在圖演算法方面,StellarDB4.0實現更多的演算法支援涵蓋中心排程類、社群發現類、相似度類等近30種常見的圖演算法以滿足不同的業務場景需求。

此外,StellarDB支援2D和3D的圖視覺化展示,利用視覺化技術幫助使用者快速獲取資料基於關聯性的深度洞察,並且提供視覺化的資料匯入、叢集監控、圖查詢任務和圖計算任務監控等功能。

資料加密和脫敏支援,保障資料安全

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

隨著《網路安全法》《資料安全法》《個人資訊保護法》相繼公佈並實施,資料安全成為企業越來越關注的問題。星環科技StellarDB支援面向圖的許可權管理以及支援管理平臺角色認證,以保證圖資料的安全。StellarDB4.0面向圖的許可權管理進一步精細化,不僅支援圖(Graph)級別的許可權設定(增、刪、改、查及圖管理),還支援標籤(Label)和屬性(Property)級別的許可權設定,以實現更加精細化的許可權控制。同時,在資料加密方面,StellarDB4.0支援資料靜態加密,其支援SM4分組加密演算法,具有加密效率高,加密速度快等特性,讓資料管理更安全。

StellarDB4.0新增資料脫敏能力對某些敏感資訊進行資料的脫敏處理,防止隱私資料在未經脫敏的情況下從企業流出,滿足一定場景下的監管合規要求。豐富的內建脫敏演算法可以有效的降低脫敏的複雜度和風險,實現敏感隱私資料的可靠保護。

StellarDB4.0視覺化頁面支援HTTPS安全傳輸,保障頁面傳輸資料的安全。此外,還支援安全認證,支援對接已有身份認證系統,可以實現使用者及許可權的遷移。


企業級資料庫功能,提高運維管理效率

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

資料庫系統作為IT業務系統的核心,對整個業務系統的連續性和資料完整性起著至關重要的作用。StellarDB支援許可權認證、備份恢復、叢集監控、日誌審計、資源管控等企業級資料庫功能。例如,StellarDB提供系統級別的高可用性,元資訊服務採用多節點HA方式提供高可用服務。StellarDB資料服務使用Raft協議,可以提供秒級副本切換服務。

StellarDB 4.0在原有支援資料全量備份恢復的基礎上,新增增量資料的備份和恢復,幫助企業提高資料備份效率,滿足企業提供不同場景的備份需求。同時StellarDB 4.0新增副本遷移功能,在磁碟異構等問題導致部分節點資料磁碟負載不均衡的情況下,實現分割槽副本的跨節點遷移,以保證系統穩定性。

此外,為了提高副本故障問題解決效率,StellarDB 4.0新增故障副本修復功能,透過簡單的openCypher語句即可刪除受損分割槽副本並重建分割槽的新副本,使所有分割槽恢復到健康狀態,保證系統可靠性。

更強大的相容能力,支撐更多實際業務場景

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

圖資料庫的相容性是企業實際系統建設中必須考慮的重要因素。星環科技StellarDB相容星環大資料一體機Txdata、申威等國產伺服器,並可執行於TCOS星環雲作業系統、中標麒麟、銀河麒麟等國產作業系統環境中。

同時,星環科技StellarDB提供豐富的介面,支援Python SDK、JDBC SDK與RESTful API與第三方系統進行對接,openCypher可以幫助使用者完成大部分的圖查詢操作和基本圖演算法。

在資料接入方面,StellarDB支援事務型資料庫、與HDFS、Hive等大資料平臺匯入資料,並且支援Text、ORC、CSV、Parquet等檔案格式。在4.0版本中StellarDB新增透過Kafka、Flink、Spark Streaming等方式接入流式資料來源,從而增強圖的實時更新和實時查詢能力,結合全量和增量資料匯入能力,滿足更多複雜的業務場景。

目前,星環科技分散式圖資料庫Transwarp StellarDB在人員社交網路探索、金融風險傳播分析等場景發揮著重大的作用,廣泛應用於金融、政府和社交網路等領域。未來,星環科技將繼續在圖技術領域深耕,為企業提供查詢速度更快、分析能力更強、穩定性更高的圖資料庫產品。同時,作為國內領先的企業級大資料基礎軟體公司,星環科技是國內同時具備圖資料庫、知識圖譜平臺、圖挖掘應用開發能力的企業,其全棧自研的圖技術能力可以助力企業快速挖掘圖資料價值,推動業務高效高質量發展。


典型案例

星環科技StellarDB4.0正式釋出:效能數倍提升,萬億級圖資料庫挖掘海量資料互聯價值

國內某Top證券公司使用開源圖資料庫Neo4j構建了企業圖譜平臺,但隨著資料量的不斷增加以及管理要求的不斷提高,原先批資料處理依賴手工匯入的方式操作繁瑣,給企業帶來很大的管理和成本壓力。該過程還需要中斷資料庫服務,影響資料庫業務的正常執行。此外,原系統的資料更新速度,深度關係查詢效能以及維護管理等方面也無法滿足該證券公司要求。

星環科技StellarDB與Neo4j的Cypher語法高度相容,快速實現了多個業務的平滑遷移和上線。內建的ETL工具直接從事務資料庫中抽取資料,避免資料手工匯入匯出的麻煩,相應的ETL元件實現對加工任務的協調排程,整個過程不中斷服務,有效保障業務連續性。

同時,StellarDB支援標籤級資料秒級刪除,極大提升企業每天資料更新效率。StellarDB視覺化資料建模功能幫助資料分析師快速、便捷地進行企業關聯關係、股權滲透分析,在3億資料量下的12度以內的最上層實控公司和母公司的控股企業查詢時間縮短為原先的1/3。

與原先使用者管理維護依賴手工的方式相比,星環科技StellarDB資料庫管理支援多種認證方式,資料庫層支援Kerberos和LDAP,web層支援CAS和OAuth2, 快速實現了與集團系統的統一對接認證,企業可以根據使用者部門工號統一配置許可權和認證。目前該證券公司已和星環科技合作完成對公企業圖譜平臺建設,後續將進一步擴充反洗錢圖譜,反欺詐圖譜等多圖應用。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69994106/viewspace-2893256/,如需轉載,請註明出處,否則將追究法律責任。

相關文章