星環科技平滑遷移方案加速國產化替代，助力大資料基礎軟體自主可控

核心技術是國之重器，加速推進核心領域關鍵技術突破，完成核心網路中的軟硬體國產替代是國家長期戰略。

“十四五”規劃更是明確，聚力攻堅基礎軟體，加速分散式資料庫/混合事務分析處理資料庫等產品研發推廣。強化基礎元件供給，大力發展雲端計算/大資料/人工智慧/區塊鏈等平臺軟體開發框架。

自主可控和國產化替代刻不容緩。過去微軟“黑屏悶”事件、美國“稜 鏡門”事件、中興制裁事件已經說明了沒有核心技術就會受制於人，今年俄烏事件發生後，200多家科技公司宣佈暫停在俄羅斯的所有業務，包括晶片、軟體、雲服務等斷供，哪裡還有“科技無國界”？要擺脫被科技制裁的風險唯一出路就是 自主研發、自主可控。

星環科技自2013年成立以來，就以自主研發為己任，不僅自主研發了大資料與雲基礎平臺、分散式關係型資料庫、資料開發與智慧分析工具的軟體產品全系列產品，為企業數字化轉型提供了真正的國產數字底座，以提供資料整合、儲存、治理、建模、挖掘、分析和流通能力，可以推動資料規範化、資產化、業務化，推進業務資料化、智慧化，而且產品能力更強更全，領先於國外， 在基於容器的資料雲技術、分散式技術、資料庫技術、多模型資料的統一處理技術、SQL編譯技術、大資料開發與智慧分析技術等6大類技術上擁有31項具備先進性的核心技術，擁有了一大批發明專利。參加並且通過了工信部自主程式碼掃描測試，完全符合信創驗收標準，多個產品進入了國家軟硬體技術圖譜。

在自主研發創新的同時，星環科技也在積極參與國家信創工作。星環科技作為信創工委會WG24大資料工作組的小組組長及副組長單位，牽頭制定信創大資料行業標準及規範，並深度參與產品圖譜編制、產業白皮書、案例集編撰等工作。

星環科技全系列產品替代國外進口產品

星環科技擁有成熟的基礎軟體替代解決方案，完全滿足信創驗收要求，取得了眾多的成果。

大資料基礎平臺TDH可以完美的替代CDH/HDP和CDP，提升功能、效能、穩定性、易用性、擴充套件性、可靠性、安全、國產生態支援等能力，提供多種模型支援能力，效能的提升可以達到5到100倍，原廠專業服務能力更強。

分散式交易型資料庫KunDB可以在交易型OLTP的業務場景、高併發線上資料服務場景，替代Oracle/DB2，並且提升儲存計算能力、高可用能力、跨分割槽事務能力。

分散式分析型資料庫ArgoDB可以在批處理和OLAP、Ad hoc分析等場景，替代Oracle/DB2/TD/SAP HANA，提供海量資料分析能力，提升混合負載、實時資料分析等能力，軟硬體綜合價效比得到10到100倍的提升。

分散式圖資料庫StellarDB可以在圖查詢、圖分析的場景替代Neo4j，提升圖資料儲存檢索能力，支援萬億頂點以上的圖儲存與毫秒級檢索效能，提供近30種分散式圖演算法和10層以上深度鏈路分析能力。

搜尋引擎Scope可以在全文檢索、日誌分析等場景替代ElasticSearch，提升穩定性、效能、叢集擴充套件性等能力。

智慧分析工具Sophon可以在視覺化建模分析場景替代SAS/SPSS，獲得200+運算元支撐，提升功能和效能（將本增效）。

國產化替代的10大關鍵評價指標

星環科技的一體化替代方案擁有獨一無二的優勢

在功能上，星環科技基礎軟體產品多模架構，支援關係表、文字、時空地理、圖資料、文件、時序等在內的10種資料模型；離線資料批處理、高併發的線上資料服務、資料集市、資料倉儲、資料湖、圖儲存分析、空間資料儲存、實時資料處理、資料中臺、資料治理等各類大資料業務場景一站解決。

在效能上，星環科技基礎軟體產品自研高效能分散式計算和儲存引擎，整體效能是CDP 5~25倍。整體價效比是DB2 20倍，是TD 100倍。

在成本上，星環科技產品高度相容CDH/HDP、TD、Oracle、DB2，相容TD、Oracle、DB2的SQL和方言，提供成熟的遷移工具，有大量低成本成功遷移案例。

在安全上，星環科技基礎軟體產品提供的容器隔離、災備、訪問控制、聯邦學習、隱私保護、可信計算等技術保障網路層、加固層、治理層、流通層全方位資料安全。

在架構上，星環科技基礎軟體產品提供統一SQL引擎、統一計算引擎、統一分散式儲存管理、統一資源排程，統一內聯的架構高效搞定湖倉集一體、HTAP等複雜場景，而不是拼湊元件成散裝架構。

在開發上，星環科技基礎軟體產品提供統一SQL引擎，無需每個場景一套介面；完整支援SQL2003標準，支援PLSQL儲存過程，相容Oracle、DB2、TD等方言。

在運維上，星環科技基礎軟體產品提供開箱即用的視覺化運維監控、安全管控工具，容器技術帶來極致的安裝、升級、補丁體驗。

在售後上，星環科技原廠有超過1100人的研發與支援團隊，超過3萬名星環科技認證的大資料工程師，專業性更強。

在國產化上，星環科技的軟體產品自主研發，通過了工信部程式碼自主研發率掃描測試，滿足信創驗收要求。

在國產生態上，星環基礎軟體產品已完成與主流信創生態廠商的適配互認工作，適配長城飛騰、華為泰山、浪潮等伺服器，鯤鵬、飛騰CPU，麒麟、統信等作業系統，並有官方認證，支援基於ARM與X86伺服器伺服器混合部署並有落地案例。

星環科技有在 大資料平臺、資料庫產品、資料分析平臺等領域有大量成功替代國外進口產品的案例。目前，星環科技的大資料基礎軟體系列產品已在十幾個行業1000+使用者應用落地。

大資料平臺國產化替代平滑遷移方案

（CDH/HDP/CDP->TDH）

Cloudera(Cloudera 和Hortonworks 合併後)所有產品不再提供社群版，使用者無法獲取新的功能。2021年1月31日開始，所有Cloudera軟體都需要有效的訂閱，且訂閱費昂貴（50個節點，一年訂閱費50萬美元）。此外，CDH 6和HDP 3將是CDH和HDP的最後企業版本，企業版使用者無法繼續獲取新的功能和效能提升。至2022年3月份，CDH/HDP全部停止服務（EoS），使用者沒辦法獲取售後支援。

Transwarp Data Hub（TDH） 是星環科技自主研發的企業級一站式多模型大資料基礎平臺，基於其領先的多模型統一技術架構，8種異構儲存引擎可以支援包括關係表、文字、時空地理、圖資料、文件、時序等在內的10種資料模型。TDH能夠儲存 PB 級別的海量資料，同時能夠提供高效能的查詢搜尋、實時分析、統計分析、預測性分析等資料分析功能，被廣泛應用在離線資料批處理、高併發的線上資料服務、資料集市、資料倉儲、資料湖、圖儲存分析、空間資料儲存、實時資料處理等各類大資料業務場景，幫助企業，更全面、更便捷、更智慧、更安全地運用資料，加速企業數字化轉型。

TDH基礎儲存與計算元件相容CDH/HDP，可以實現平滑遷移，大大降低企業遷移成本低。

同時， 星環科技提供專業的遷移工具Transwarp Backup (TBAK），幫助使用者通過簡單的三步即可實現資料與業務的一鍵遷移，高效便捷。整個遷移過程操作簡單，配置靈活，通過3步即可完成所有的遷移工作，同時使用者可以對遷移過程進行全流程實時監控，保障整個遷移過程順利進行。

第一步，基於TBAK提供視覺化的介面進行CDH和TDH的叢集配置。

第二步，建立CDH遷移方案。TDH提供服務級和表級的遷移策略，以及對源叢集，災備叢集，排程策略等進行配置。在排程策略中使用者可以根據實際情況進行配置，例如可以設定在業務空窗期的每天凌晨2點進行資料遷移。同時，使用者可以設定相應的告警策略，當遷移發生問題時可以第一時間收到告警資訊並對問題進行排查和恢復。

第三步，執行遷移任務和結果檢查。當叢集配置完成後，所有的遷移方案將在遷移方案介面進行管理和操作。使用者可以選擇相應的遷移方案進行操作，例如立即執行和設定執行策略。若點選執行遷移任務，系統會進入到自動遷移狀態，同時可以監測遷移任務執行的整體狀態資訊，並且可以對每一步的執行情況進行實時監測。當遷移發生故障時，系統會發出執行故障的告警，方便使用者對故障發生的階段進行排查和故障恢復。

此外，星環科技積累了大量的遷移成功案例，經驗豐富，可以保障整個遷移過程安全可靠。

相比於遷移到CDP或者國內封裝的Hadoop商業版，使用者遷移到星環科技TDH後，TDH 多模型統一架構提供統一SQL引擎、統一計算引擎、統一分散式儲存管理、統一資源排程，統一內聯架構高效搞定湖倉集一體、HTAP等複雜場景，無需拼湊元件散裝架構。同時在 技術領先性、效能、易用性、穩定性、安全性等方面得到全面的提升。此外，TDH由星環科技自主研發，通過工信部自主程式碼掃描測試， 完全自主可控，並且與已完成與主流信創生態廠商的適配互認工作，滿足信創驗收要求，幫助各行業使用者提升大資料系統的國產化水平。

資料庫國化產替代平滑遷移方案

(Oracle/DB2/MySQL/Teradata/

SAP HANA->TDH/

ArgoDB/KunDB)

傳統資料庫如Oracle，DB2等存在成本高、擴容難、效能受限、運維難等問題給很多企業使用者造成了困擾。

前段時間俄烏事件中，Oracle宣佈暫停在俄業務，其他眾多科技公司也相繼宣佈斷供俄羅斯。這些事件再次給國人敲響了警鐘，建設國產資料平臺迫在眉睫。

星環科技大資料基礎平臺和資料庫產品支援完整的SQL標準語法，相容Oracle、IBM DB2、Teradata方言，相容Oracle和DB2等的儲存過程，可以實現平臺間的平滑遷移。同時能夠提供統一的架構，一站式幫忙使用者解決所有業務場景，從 降低成本、提升效能、平臺創新、應用創新等多個方面為使用者帶來收益。

星環科技建立了一整套從老牌資料庫到星環產品的平滑遷移方法論，大致可以分為分析與設計、遷移實施和上線保障三個階段。

第一階段，分析和設計。結合使用者的現場情況和需求進行分析，並對資料流轉和整體架構設計。如將Oracle遷移到星環科技TDH，TDH支援多種資料來源接入，並對於不同的接入方式提供專業的元件工具。例如星環科技Transporter支援定時批量抽取，實時流計算引擎Slipstream支援實時資料接入，可用於實時數倉等場景。

第二階段，遷移實施。遷移分為資料遷移和業務兩大部分。在資料遷移方面，星環科技可以實現三種遷移方式，1:1平移、按照大資料平臺特性重新設計和遷移種選重點進行優化，使用者可以根據實際情況和自身需求進行選擇。在業務遷移方面，星環科技平臺能夠提供完整的配套產品和元件，同時又能完整支援SQL標準，相容像Oracle儲存過程等特徵，在保障業務的同時實現低成本、平滑遷移。

第三階段，上線保障。星環科技可以提供雙軌試執行機制，定期進行兩邊的資料核對，觀察平臺的執行情況，進行後期的細緻調優等相關工作，保障遷移後能夠順利上線投產。

以金融行業為例，星環科技可替換的場景包含：風險控制、資料倉儲、報表平臺、ODS、資料集市、投資交易分析回放、客戶分析和客戶畫像等等。例如風控的指標管理、實時預警、合規管理、資料維度一直是金融行業中券商最依賴於資料處理的部分，可結合市場風險、信用風險、反洗錢、投資人適當性管理等應用場景，星環科技能夠在機器學習演算法和風險模型上提供解決方案。其他例如投資交易、行情預測、業務運營等場景，星環科技都能夠提供全面的支撐能力。

星環科技提供完整的資料庫平滑遷移方案能夠全方位保障資料與業務遷移，大大降低企業遷移成本和遷移風險。同時相對於傳統資料庫，星環科技大資料平臺以及資料庫產品能夠在 架構、效能、可擴充套件性、以及對雲和AI的支援等能力上獲得極大的提升，幫助企業快速實現國產化替代，構建自主可控的高效能資料平臺。

圖資料庫國化產替代平滑遷移方案

（Neo4j->星環分散式圖資料庫StellarDB)

Neo4j是一款知名的開源圖資料庫，但使用者在使用過程中發現Neo4j存在一定的侷限性，例如Neo4j不支援多資料庫例項應用，每個應用都需要單獨的伺服器部署，不便於管理。當資料量較大時，Neo4j計算能力存在瓶頸，無法滿足較高要求的計算需求。此外，Neo4j不滿足高可用的要求，且缺乏統一的資源管理和許可權管理。

Transwarp StellarDB是星環科技自主研發的分散式圖資料庫，相容openCypher查詢語言，提供海量圖資料的儲存和分析能力，支援原生圖儲存結構，支援萬億邊PB級資料儲存。同時，StellarDB具備毫秒級點邊查詢能力，10+層的深度鏈路分析能力，提供近30種的圖分析演算法，具備資料2D和3D展示能力。

在遷移方面，StellarDB支援MySQL、Greenplum等關係型資料庫、HDFS、Hive等大資料平臺資料來源接入，在4.0版本中StellarDB新增通過Kafka、Flink、Spark Streaming等方式接入流式資料來源，可以覆蓋所有場景資料來源。同時提供專業的資料遷移工具實現資料的快速高效遷移。此外，StellarDB與Neo4j的Cypher語法高度相容，低成本、安全地實現原有業務的平滑遷移和上線。

相比Neo4j，StellarDB在 儲存能力、高效能、圖演算法、國產化相容、運維管理能力、知識圖譜能力、介面工具等方面表現優異。

StellarDB支援海量圖資料的儲存與檢索，可以支援至少萬億頂點以上的圖儲存，在某地電信關係圖譜場景實現了9700億邊規模的儲存和穩定執行， 真正意義上將萬億級圖資料庫能力應用落地。

替換Neo4j以後，使用者可獲得更高的效能。 批量資料匯入效能提高2倍以上，在深度鏈路查詢能力方面，StellarDB能夠支援 12度以上關聯查詢，秒級返回，經測試驗證， 6跳查詢相對於Neo4j提高了50倍以上。在圖演算法效能方面，StellarDB4.0具有很大效能優勢， PageRank演算法和強連通子圖演算法效能提升3-6倍，LPA演算法效能提升8倍以上，在十億級邊Twitter-2010資料集下，StellarDB秒級響應，Neo4j在30min內無響應結果。

相比於Neo4j，StellatDB支援分散式叢集部署，實現一站式叢集管理，同時提供企業級便捷的管理工具，實現高效的 統一資源管理和許可權管理。

StellarDB提供 統一排程和API介面管理能力，相比之前依賴第三方排程工具，更方便高效。

在視覺化能力方面，StellarDB支援 2D和3D的圖視覺化展示，利用視覺化技術幫助使用者快速獲取資料基於關聯性的深度洞察，並且提供視覺化的資料匯入、叢集監控、圖查詢任務和圖計算任務監控等功能。

在國產化方面，StellarDB是星環科技 自研圖資料庫，且相容國產化軟硬體，幫助企業提高國產化水平，滿足信創要求。

此外，星環科技是國內具備圖資料庫、知識圖譜平臺、圖挖掘應用開發能力的企業，其全棧自研的圖技術能力可以助力企業快速挖掘圖資料價值，推動業務高效高質量發展。

搜尋產品國產化替代平滑遷移方案

（ElasticSearch->星環分散式搜尋引擎Scope）

ES在2021年宣佈變更 Elasticsearch 和 Kibana 的其中一項開源許可協議Apache License 2.0，變更為雙授權許可，即 Server Side Public License (SSPL) + Elastic License，在一定程度上對許可協議加以限制。

此外，隨著資料量的劇增以及效能要求的不斷提高，ES在叢集擴充套件性、可靠性、資料讀寫效能、以及資料恢復速度等方面越來越難以滿足使用者的需求。例如，ES單節點例項支援的資料量有限，當叢集超過100節點，會出現連續失聯等穩定性問題。當節點磁碟損壞時，需要採取全量資料拷貝的方式恢復資料，工作量大，TB級別可達小時級別，資料恢復速度比較慢，無法滿足客戶快速實現資料恢復的需求。

Transwarp Scope是星環科技自主研發的分散式搜尋引擎，提供PB級海量資料的互動式多維檢索分析服務，能夠實現高可靠、高擴充套件性的全文搜尋與靈活查詢。能夠相容常用的ES讀寫介面，比ES更強的資料一致性和可靠性，同時比ES有更強的穩定性，實現分鐘級快速恢復單點故障。在效能方面，Scope可以毫秒級快速響應使用者的檢索需求，入庫與查詢能力有發幅度的提升。此外，Scope是星環科技自主研發的搜尋引擎，可以滿足信創驗收要求。

基於星環平滑遷移方案論，從ES到Scope的遷移過程可以分為三個階段，調研評估、方案測試和上線保障。同時 星環科技支援多種資料遷移方式保障資料順利遷移，Scope支援ES介面可以實現原先ES業務的平滑遷移。

在資料遷移方面，星環科技 支援三種資料遷移方案，使用部分ES遷移工具遷移資料、通過HDFS將資料遷移到Scope和使用Logstash進行資料遷移， 使用者可以根據需求靈活選擇。

在業務遷移方面，Scope支援ES介面，可以實現ES的業務平滑遷移，同時針對部分使用者習慣使用SQL的方式，Scope支援SQL 2003和全文檢索SQL擴充套件，滿足傳統資料庫遷移到ES的需求。

相較於ES，使用者遷移到Scope之後，可以實現 海量儲存能力確保百節點以上規模叢集穩定執行，強一致性寫入能力確保讀寫資料不丟。在高可用能力方面也有非常大的提升，可以確保錯誤 分鐘級重啟恢復。此外，使用者還可獲得 多程式架構，記憶體精細化控制、負載均衡、資料分割槽等能力。

星環科技Scope在政府、金融等行業有很多ES國產替代落地經驗，幫助使用者在海量資料檢索和分析、可擴充套件性、可靠性、資料恢復等能力上獲得極大的提升，幫助企業完成搜尋產品的國產化替代。

分析工具國產化平滑遷移方案

（SAS/SPSS->星環智慧分析工具Sophon）

大資料分析工具可以幫助使用者更靈活、更高效地進行資料分析，挖掘資料價值。隨著資料量的劇增，以及深度學習演算法的不斷迭代以及創新，市面上如SAS/SPSS等分析工具越來越難以滿足企業使用者更快速、更高效、更靈活以及更低成本的需求。

例如，使用者在使用SAS過程中可能會遇到如下幾個問題：首先，其相對比較封閉，使用者無法針對單個功能授予許可證，使用成本高昂；其次，SAS自建機器學習演算法有限，深度學習演算法依賴外部如Python嵌入支援，使用者無法靈活地獲取新的演算法；再次，SAS對分散式讀寫和計算存在侷限性，對海量資料處理及大規模機器學習難以有效支撐，對實時計算更是無能為力。

此外，SAS是過程性語言，程式碼量偏多，加上閉源特性，SAS社群不及開源語言活躍。隨著R、Python的流行，SAS人才日漸稀缺，導致企業難以組織高質量團隊。

星環科技Sophon Base是 具備統計、機器學習、深度學習等完備演算法和豐富運算元的企業級分散式機器學習平臺，支援 從資料接入、資料處理，到模型訓練、服務部署、線上監控的一站式視覺化流程。

在多年的行業積累和專案實踐上，星環科技建立了一套 模型遷移方法論，整個過程被定義為8個階段——業務理解、資料理解、元模型理解、資料準備、模型遷移、評估報告、應用和檢測。星環科技 SAS平滑遷移過程強調針對實際業務問題，解決客戶的業務痛點，產生實際價值。

通過對使用者業務、資料、元模型的理解後，進行相應的資料準備，包括框架設計、資料處理、方案設計等。當資料準備好後就會進行模型遷移，這一階段主要是進行程式碼邏輯架構梳理設計、模型驗證等。模型遷移完成後會對遷移效果進行評估，確認遷移前後的準確性、一致性、以及優化效果驗證。最後是部署上線來支援業務，對業務進行持續跟蹤，不斷優化模型，並對效果進行評估。通過一整套完整的遷移流程，保障SAS平滑、安全的遷移到星環Sophon。

星環科技Sophon可以提供完整的SAS模型遷移能力。相較於SAS，遷移到Sophon後可以支援多源異構資料的接入、豐富的資料處理、多個框架的模型訓練及釋出、模型部署和維護等全過程， 多源資料和建模流程靈活組合確保綜合性場景高效支撐。使用者可以獲得Sophon自建的 200多個高效能分散式AI運算元以及對自定義運算元的支援，完全覆蓋SAS原有的建模能力。同時，Sophon還能帶來 模型可解釋性、聯邦學習等額外的支援，更好地支撐模型的業務應用。此外，在 模型的統一管理、釋出及監控方面，Sophon也為企業客戶提供了 簡潔、易用、穩定的解決方案，幫助使用者更好地獲取資料價值。