實時資料管理實戰派！DataPipeline亮相“FCS 2021中國證券、基金和資管CIO峰會”

9月26-27日，FCS 2021第三屆中國證券、基金和資管CIO峰會在上海隆重召開。本次大會圍繞“數字重構價值·變革驅動增長”主題展開，邀請到金融、政府、IT等多領域的千餘名行業學者、領域專家，深入探討全球環境下金融機構數字化、風險控制等能力對企業的深刻影響，共話數字化金融新未來。

DataPipeline產品負責人徐志超

在題為“聚焦數字化財富管理·科技重塑行業價值”的主論壇中，DataPipeline產品負責人徐志超受邀作《企業實時資料管理問題與實踐》的主旨發言。他針對企業實時資料管理應用中面對的主要問題、DataPipeline企業級實時資料融合平臺解決方案及DataPipeline的行業實踐與優勢幾項議題與現場嘉賓進行了探討。

徐志超談道：

“在新的發展階段，技術引擎異構趨勢明顯，資料的融合創新正在成為新常態。資料融合是企業數字化轉型的源頭，是資料實時、完整、穩定、一致的根本支撐。只有擁有了高質量的原始資料，企業才能真正走出紮實地數字化轉型之路。

隨著人民銀行《金融科技(FinTech)發展規劃(2019-2021年)》等一系列頂層規劃落地實施，中國金融科技政策環境和監管規則體系不斷最佳化。越來越多的金融機構注重創新技術應用並且積極尋求與社會企業合作探索金融科技新場景。在業務場景中發展全新的生態體系成為了傳統金融機構彎道超車、形成競爭壁壘的主要選擇之一。

我們能夠獲得包括民生銀行、中國人壽（海外）、山東城商行聯盟、財通證券、山西證券、恆泰證券、國盛證券、財通資管、中國石油、吉利集團、星巴克、順豐在內的百餘家重量級企業客戶的青睞，得力於DataPipeline企業級實時資料融合平臺從理念到架構、從功能到效能、從方案到技術，全面圍繞並順應當前的使用者需求及產業發展態勢。產品打出‘基於日誌的實時增量資料獲取技術’、‘支援主流關係型資料、大資料平臺及國產資料庫’、‘分層管理按需服務’、‘高容錯分散式架構’等一整套的優勢組合拳。”

業務需求升級 呼喚實時資料管理創新

目前，企業面臨市場競爭和使用者行為的巨大變化，必須不斷加快自身進化速度。同時，業務需求升級往往要求運營模式的轉變，以多速IT應對實際場景需求、快速響應實時資料的要求。但在企業該轉型創新過程中，面臨著多重問題：

>>> 各類資料管理技術差異越來越大，全面、準確的實時資料獲取困難，企業內適用不同場景的資料管理技術不盡相同，技術壁壘阻礙資料價值釋放。

>>> 常規端到端實時資料鏈路以月為單位的構建效率已無法適應外部環境的變化，業務需要更高的敏捷性來應對，這需要整個數字化組織可以體系化且可預見性地進行多速、敏捷的業務場景支撐。過多的技術儲備要求與研發成本也成為阻礙快速建立競爭優勢的重要因素。

>>> 從客戶行為分析到非交易類的觸客業務到事件營銷再到風控評分，實時資料鏈路逐漸成為業務運營的重要支撐。作為打通各業務系統資料通道的中間層，實時資料鏈路的穩定性與容錯性也成為重點與難點。

實力過硬 做金融數字化創新基礎設施

針對企業面臨的問題，DataPipeline提供企業級實時資料融合平臺解決方案，透過基於日誌的增量資料獲取等多種實時資料技術，協助客戶構建以業務目標為導向的資料鏈路，按需快速定製、部署、執行資料任務，支援從傳統資料處理到實時資料應用的各類場景，完全滿足金融行業高效能、高可用、高穩定、高可控等的能力訴求。產品具備“全、敏、穩”等幾大特性：

DataPipeline企業級實時資料融合平臺整體架構

>>> DataPipeline企業級實時資料融合平臺目前支援Oracle、IBM DB2、MySQL、Microsoft SQL Server及PostgreSQL等資料庫的實時增量資料捕獲，對大資料平臺、國產資料庫、雲原生資料庫、API及物件儲存也提供廣泛的支援，並在不斷擴充套件。

>>> 產品抽象為“資料節點、資料鏈路、融合任務及系統資源”四個基本邏輯，只需透過二至三項簡單配置就可以定義出可以執行的融合任務，同時對各個環節進行分層管理，在有效滿足系統運維管理需求的前提下，提升實時資料獲取與管理在各個環節的配合效率。

>>> 融合引擎採用分散式架構，容器化部署，可以保證系統業務連續性要求。在分散式叢集的基礎上，平臺採用系統資源組的形式隔離不同任務的執行環境，保障重要任務的穩定有序執行。

廣泛驗證 實時資料管理實戰派

在銀行領域，DataPipeline協助構建的民生銀行實時資料同步管道平臺透過近百個實時資料任務將客戶行為等實時資料進行標準化補全並分發到消費計算方，用於各類實時資料加工場景。該體系融合了IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS在內的多種資料基礎元件，實現對主要交易系統每日產生的數億條資料的整合。DataPipeline助力山東省城商行聯盟構建的企業級資料庫準實時資料採集系統可實現IBM DB2，Oracle，MySQL等多種核心資料庫的實時資料採集功能，在金融級的穩定高容錯能力方面受到客戶高度認可。

在保險領域，某世界五百強金融企業打通使用者行為資料、承保/退保/理賠/銷售等業務資料及計算分析結果資料，高效支援營銷、風控、運營等業務部門取數及用數需求，IT系統融合Oracle、Microsoft SQL Server、MySQL、TiDB在內的近十種資料庫管理技術，實現從核心業務系統到客戶端的多個系統產生的數十億條資料的整合。

在證券領域，DataPipeline聯合財通證券建設的資料採集同步叢集實現了公司含核心系統在內50+業務系統的資料交換，被客戶贊為“符合金融行業資料流轉穩定要求、操作簡單、運維壓力低、自定義能力強且對業務系統與業務人員非常友好的系統”。

在消費金融領域，DataPipeline攜手某頭部汽車金融企業構建的實時資料平臺接入MES、ERP、CRM、零售、批售、徵信、反欺等系統，適配Oracle、Microsoft SQL Server、MySQL、PostgreSQL、TiDB、Hive、Kafka、HBase等數十種資料庫近實時的資料採集功能，大幅提升了企業風控、營銷等的能力。

一筆消費、一度電、日新月異的金融業發展、忙碌不息的產線……更多企業正因實時資料管理的加持悄然改變。這背後的技術都來源於DataPipeline企實時資料融合產品。

面對不同的實時資料應用需求，DataPipeline企業級實時資料融合平臺都能以專業化產品與解決方案的方式降低了企業搭建基礎平臺的研發成本與運維成本，提升資料應用的效能，滿足客戶的業務需求，高效解決企業資料管理中“最初一公里”的問題。

目前，DataPipeline已覆蓋金融、零售、能源、製造、地產等重點領域，產品被應用在客戶服務、生產排程、運營管理、業務分析等重要場景中。DataPipeline 企業級資料融合平臺在系統穩定性、可管理性、擴充套件性、靈活性方面經過了反覆驗證。同時，為了給以金融為代表的國民支柱型行業提供安全可信的資料管理支撐，DataPipeline正在積極擁抱國產化佈局，展開相容適配助力完善信創產業鏈生態。截止目前，DataPipeline已成為中國電子工業標準化技術協會資訊科技應用創新工作委員會會員單位，產品已與華為鯤鵬雲、華為GaussDB 、SequoiaDB巨杉資料庫、星環大資料平臺Transwarp Data Hub、銀河麒麟高階伺服器作業系統（鯤鵬版）V10、TiDB、HashData、東方金信海盒資料庫管理系統等多個軟硬體產品完成全面相容認證且效能優異，能夠有力服務各領域資訊化水平領先的使用者。

“融合”的表象是資料流轉，根本是價值在企業內部傳導的過程，助力資料融合與共享的“鏈路構建”是企業數字化轉型的必經之路。未來，DataPipeline將繼續堅持技術驅動、深耕企業服務，以全面的實時資料管理方案助力企業在新的競爭中獲得先機，實現合作共贏。