乾貨！DataPipeline2021資料管理與創新大會全篇劃重點

7月29日，以“萬「向」更新”為主題，DataPipeline2021資料管理與創新大會在北京成功舉行！中國信通院雲端計算與大資料研究所副所長魏凱、中信銀行資訊科技管理部架構管理處處長衛東、民生銀行總行科技大資料管理部技術專家鐘行、山東省城商行聯盟核心運維組技術專家倪俊甜、中國資訊協會專家範克峰、華為計算產品線openGauss資料庫產品總經理胡正策與DataPipeline數見科技管理層及來自該領域的專家學者、使用者代表、生態夥伴共聚一堂，共話產業機遇與挑戰，共探資料管理與創新實踐新模式。以期透過“萬「向」匯聚，資料新生”的共識，創造行業新價值。

DataPipeline表示，數字化轉型被按下加速鍵，產業升級對實時資料管理能力提出前所未有的要求，所有資料都被要求相互連線並能隨時被看到、被感知、被呼叫。實時資料管理體系的建設既需要看透“前期實時資料平臺建設、中期深化實時資料價值釋放、遠期實時資料驅動業務發展”大週期的視角，也需要從平臺類基礎設施構建出發、對“人員、流程、技術”持續精進的耐心。這種秉承長期主義的原則與DataPipeline數見科技的產品與技術發展理念不謀而合。

01 資料要素化催生技術與管理變革

資料全生命週期管理與價值導向的運營管理成為發展方向

 

隨著資訊經濟發展，資料早已和其它要素一起融入經濟價值創造過程。中國信通院雲端計算與大資料研究所副所長魏凱表示：當前，我們處於迎接資料生產要素崛起的新時代。在數字化轉型過程中，資料作為生產要素，一方面在驅動產業智慧化、催生新的生產組織形態方面的作用不斷顯現，推動新型產品和服務的創造；另一方面，作為參與分配的要素，資料背後涉及經濟結構的變化。它對於我們資料的技術、底層基礎設施等有很大的需求，所以我們管理體系、理念、方法論也有很大創新的需求。這主要體現在：

第一. 資料要素化需要一場技術革命：

組織內部從以前追求資料高效處理、追求更快更大，到今天更重視資料更加智慧及良好的治理。資料不再是簡單地放在資料庫裡就能產生價值，而是要高質量的融合起來，真正讓它成為閉環裡面一個不得不做的要素。在組織間，跨機構的資料以前更多是要保護，隔離，鎖在保險櫃裡保密。今後為了做產業網際網路，資料要實現上下游打通、政企打通、企業之間打通，所以其關鍵詞變成了開放、融合，從而又有了隱私計算、區塊鏈。我們發現，組織內及組織架構的資料流動在變化，組織的技術重心也在變化。大資料產品技術越來越豐富，應用愈加廣泛，資料的一站式、全生命週期管理是我們看到的方向。

第二． 資料要素化也在推動管理的變革：

以資料治理為核心的資料資產管理體系逐步成熟，以資料運營為導向的資料資產管理體系處於萌芽。資料管理2.0資料開發運營一體化從管理本位的角度轉變到服務業務的角度，資料管理工作更多為了業務的創新、為了發展，這對平臺自動化、快速響應需求，多團隊協作、運營驅動管理提出更高要求。該趨勢下，很多企業開始做了DataOps的實踐。DataOps是一種協作式資料管理的實踐，致力於改善組織中資料管理者與使用者之間資料流的溝通，整合和自動化。其核心理念有：敏捷開發、治理閉環、安全可信、持續運營，這也確是資料管理的必然方向。

中國資訊協會專家範克峰從數字化轉型角度談資料管理之變，也與以上觀點相契合。在數字化轉型的路徑考量上，產品選型和組織方式都是重要環節。針對前者，技術實現方式千差萬別，強調企業要根據自身發展情況和行業屬性選擇適合自己的數字化工具。針對後者，絕不可忽視“人”這一因素的重要作用，要重視管理層的支援和員工層的協作，提升企業整體數字能力。

02 DataPipeline：聚焦資料價值釋放鏈路中最初一公里

DataOps是指導DataPipeline產品和服務發展的重要原則

在DataPipeline創始人 & CEO陳誠看來，“聚焦最初一公里”是DataPipeline為產業提供數字化轉型創新推動力的最佳註解。他指出，企業數字化轉型過程中，越來越多的資料應用被構建出來、資料量大跨度增長，資料的複雜度越來越高，無論從需求側還是供給側看，資料的時效性要求都變得越來越強。和直接給客戶提供價值的場景應用 “最後一公里”相比，資料融合這“最初一公里”的重要性也愈發凸顯，並且具備豐富內涵。

 

在最佳化資料科學和運營團隊之間協作的大量資料管理實踐中，DataPipeline逐步發現DataOps是跨越業務與技術、資料與場景、規模與質量等資料驅動商業變革鴻溝的有效路徑。DataOps強調了對資料流向價值流轉變的資料旅程管理的理念，也是指導DataPipeline產品和服務發展的重要原則，其中最重要的三點：

第一. 擁抱變化。技術場景的快速分化產生大量不同類的儲存和計算引擎、信創大勢下優秀國產資料庫湧現、業務導向下資料結構等的快速迭代、網路等的環境變化，以上多方面的變化使得資料排程及流轉變成極其重要的能力。“最初一公里”成為築牢資料管理根基的關鍵,也是DataPipeline選擇該領域的初心。

第二. 組織協作。資料管理中的角色多樣，資料科學家、資料分析師、資料工程師、大資料平臺運維人員、DBA等，各類角色及其承載內容變化量大、速度快，日常工作中缺少抓手協作配合。DataPipeline透過產品的四層抽象——系統資源管理、節點管理、鏈路管理和資料任務管理來幫助組織，給每一類角色提供相應的入口與易用視覺化強的介面，從而形成清晰的工作邊界與良好的配合。

第三. 自動敏捷。該原則的底層邏輯即低程式碼、無程式碼勝過開發，各類策略的配製勝過程式碼調整。DataPipeline在每一個抽象層級上提供了幾十種策略的配製。細緻程度可以達到寫入元件的衝突，資料結構發生變化，有沒有錯誤佇列。客戶在應對新變化時，週期可以從以月計改為按小時甚至分鐘去計算，效率提升顯著。以上都源自DataPipeline過去5年對客戶場景抽絲剝繭地分析與理解，及技術功能上的細分。

03 以使用者為中心，專注場景實踐創造行業新價值

在對於安全、穩定、效能都有著極高標準的金融行業紮根

DataPipeline堅持以使用者為中心，找到業務場景與實時資料管理技術的結合點，以場景化的創新解決方案實踐，加速行業數字化和智慧升級。

DataPipeline助力民生銀行構建實時資料管理平臺，在異構資料實時同步的準確性、系統的穩定性、易用性、安全性等方面很好地滿足了需求，實現了民生銀行企業級實時資料的採集、同步與融合。基於DataPipeline進行資料標準化開發和資料傳輸，降低了民生銀行開發成本，加快了實時資料價值的釋放，為民生銀行資料中臺戰略奠定了堅實的基礎。

 

民生銀行總行科技大資料管理部技術專家鐘行表示，在實時資料預處理和應用層資料同步方面，選擇DataPipeline作為合作伙伴共同完成實時資料同步管道元件的實施，主要原因為：一是，目前金融行業進入了一個基礎設施快速迭代的時期，民生銀行也正在積極驗證引入各類開源和商業化基礎元件滿足資料方面需求，DataPipeline是一家專注於提供企業級異構資料融合解決方案的公司，能夠持續跟進行業內計算資源、作業系統、資料庫、中介軟體等方面的變化，持續對合作夥伴的需求進行支援；二是，DataPipeline企業級實時資料融合平臺的功能和效能，能夠很好地滿足民生銀行當前在實時資料預處理和同步方面需求，產品除了支援豐富的資料來源，在任務的資源控制、狀態監控、異常處理和恢復等方面設計合理，易於與行內已有資料管理和集中監控系統整合。以DataPipeline產品為基礎，相對基於開源元件自研的方案可以加速專案實施、降低成本。

山東省城商行聯盟核心運維組技術專家倪俊甜在演講中表示：DataPipeline助力山東省城商行聯盟構建的企業級資料庫準實時資料採集系統對於推動其實現數字化轉型、資料規範化和集約化管理、賦能企業經營及增強其持久核心競爭力具有重要意義。DataPipeline可實現資料的秒級實時採集，產品具備統一易用的人性化操作介面，豐富的配置策略可實現對資源的高效充分利用，產品同時具有標準化遵循與前瞻性判斷前提下的開放可擴充套件性，當然最重要的是其金融級的穩定高容錯能力。

 

04 升級資料技術，提升企業數字化轉型驅動力

使用者需求牽引技術持續演進，構建數字化創新基礎設施

技術已經成為當前驅動產業變革的重要源動力。產業數智化的時代已然來臨，在未來十年，經濟發展的新動能將源自技術與“千行百業”的深度融合，新科技產品、新效率以及全新業務形態都將由此融合而生。DataPipeline合夥人 & CTO陳肅表示：DataPipeline的技術架構演進，本質上是一個使用者需求驅動的過程。今天我們在3.0版本中看到的技術架構形態，是這些年持續在客戶真實環境中不斷錘鍊和演進的結果。

 

回顧過去40年技術發展的路線，DataPipeline認為技術架構是不斷取長補短，不斷融合的過程，但是資料架構的百花齊放、長期共存，是必然趨勢。企業資料基礎設施的建設，需要做好三件事：選擇、組合和連線。而連線是實現組合的關鍵。但構建穩定、高效能且能夠適應業務發展動態變化的實時資料管道，需要時間、金錢、人力上的昂貴投入且在落地上充滿挑戰。DataPipeline希望提供一個產品化的解決方案，為使用者把這紛繁的事務透過一體化的方式解決掉。以上就是DataPipeline基於對技術發展趨勢和產品商業價值的判斷而做出選擇的基本依據。

今年五月份，DataPipeline正式釋出實時資料融合平臺V3.0里程碑版，是產品由工具型向企業級資料融合平臺進化的關鍵一步。V3.0版本在技術成熟度上有跨越式提升，主要表現在其高效能、高可用、可管理性。

第一. 高效能。在3.0版本中，DataPipeline引入了基於記憶體的資料交換方式，可以有效避免訊息分割槽數量的膨脹帶來的效能下降。同時，基於這一模式的端到端處理速度，比2.0版本提升超過2倍。

第二. 高可用。從1.0版本開始，DataPipeline的底層執行時環境就支援高可用。在3.0版本中，DataPipeline進一步將產品的所有平臺元件全面實現了高可用。使用者可以根據對可用性的要求，靈活進行元件節點的部署，避免單點故障。

第三． 可管理性。根據企業分層管理的需求，將系統內資源抽象為節點、鏈路、任務。每一層都可以進行獨立的管理和授權。使用者可以在鏈路上定義欄位型別對映、限速、告警等策略，並應用到任務層面，從而實現層級化的精細管理。與此同時，DataPipeline內部的所有重要事件、告警資訊都能夠推送到使用者定義的郵箱、檔案路徑或Webhook中，從而與企業現有的運維監控體系無縫整合。DataPipeline 3.0配備了容器、應用、執行緒、業務四級監控體系，實現全方位的運維提升。

05 凝心聚力，與產業各角色共生共贏

共赴實時資料管理的星辰大海

 

華為計算產品線openGauss資料庫產品總經理胡正策高度評價了華為openGauss與DataPipeline的過往合作，並介紹了openGauss企業級開源資料庫“共建、共享、共治”的生態理念與成果。近日，DataPipeline與GaussDB(for openGauss)完成相容性測試，並且簽署CLA(Contribution License Agreement, 貢獻許可協議），正式加入openGauss社群。未來，DataPipeline將充分發揮自主創新能力及產品優勢，與華為雲合力創造1+1大於2的效果，為推動金融等行業資料管理發展貢獻力量。

在大會圓桌論壇環節，與會的各位專家共同就“信創產業發展的機遇與挑戰”、“金融行業對核心資料系統的訴求”等問題展開討論。其中，中信銀行資訊科技管理部架構管理處處長衛東談到：信創是中國數字經濟安全、健康發展的基石。我國的信創產業加速朝著好用和全面推廣方向發展，信創產業生態初具規模。面對數字經濟的高速發展，信創將給千行百業帶來不可估量的價值。技術人員，要有開放的心態，在全球範圍內學習並借鑑。更重要的一點，需求市場拉動的同時，以基礎軟體為代表的IT產業領域也要堅持深化供給側結構性改革。產品技術專家，要有在豐富場景下捕捉需求的能力，並且要前瞻性地從產品打造層面提出一些新的功能和特性。這對廠商非常重要，同時也提出了比較高的策略研究能力，包括聯合使用者方聯創等的高階能力。

 

圓桌論壇現場，來自產業各領域的合作伙伴也帶來了針對資料管理行業洞察和期待。“勢、創新、專注、融合共建、繁榮生態、差異化亮點”——DataPipeline2021資料管理與創新大會在現場嘉賓對DataPipeline的寄語中圓滿閉幕。

實時資料管理平臺構建只是開始，資料管理的產業發展長途漫漫。以“堅持技術驅動 深耕企業服務”為初心和錨點，DataPipeline將全力打通“實時資料融合-服務-質量”全流程能力，形成全鏈路實時資料資產管理業務體系，與合作伙伴共生共贏，為全球行業使用者提供穩定高效、安全可靠、開放相容的數字化創新基礎設施，加速企業業務創新和轉型升級。