報告編委

李喆

愛分析合夥人&首席分析師

廖耘加

愛分析分析師  

目錄 

1. 研究範圍定義

2. 市場洞察

3. 廠商全景地圖

4. 市場分析與廠商評估

5. 入選廠商列表

1.    研究範圍定義

研究範圍

在後疫情時代，以資料分析為代表的資料消費場景日益豐富，資料驅動業務增長成為市場共識，資料開發管理越來越受到企業決策者重視。

當前，各類管理資訊系統、協同辦公系統的應用，物聯網和邊緣裝置的普及，都讓企業端資料採集和分析的場景變得越來越多，資料驅動的場景從當前集中在前端的營銷、銷售環節，正在向後端供應鏈的全場景延伸，從與消費網際網路緊密相關的零售電商向金融、教育、醫療、工業等全行業覆蓋，資料消費場景的豐富和分析需求的快速增長導致資料應用開發需求迅速增加。

金融、零售等行業頭部企業紛紛成立獨立的資料管理部門，在資料開發與管理方面的投入明顯增加。建設銀行、民生銀行、興業銀行等金融機構透過新建資料管理部門來實施大資料戰略，快速釋放資料生產力，實現資料資產的集中管理，聚集資料人才，深度挖掘與共享資料資源，從而利用資料驅動全方位支援業務發展。

儘管對資料的需求和投入不斷增大，但在實際管理和應用時企業仍面臨諸多挑戰：

企業內部資料管理的協作成本越來越高。一方面，資料分析工具多元化導致資料使用者角色更復雜，企業內現在設定瞭如資料工程師、資料管理員、報表開發人員、運維工程師等多個職位，反而容易造成職責邊界交叉模糊，協作困難。另一方面，IT部門、資料部門和業務部門之間難以建立起緊密的融合關係，資料部門相對弱勢，難以推動業務部門主動用數，整體資料應用效率較低。

單個環節的自動化無法解決全域性問題。儘管企業在資料開發、資料治理等單個環節採購了相關的工具或平臺，實現了區域性的自動化，然而僅僅能解決表面問題，無法真正解決全域性需求。難以建立覆蓋所有業務的規範統一、整合互聯的資料基礎，從根本上消除資料孤島，實現企業級資料整合整合、全面共享應用，提升企業大資料能力。

資料應用開發需求增長與資料使用者角色的複雜致使企業資料開發、資料運維工作量以及資料應用交付協調難度大大增加。因此，企業需要一套全新解決方案，真正實現資料驅動業務增長。DataOps以其能服務於業務部門、大資料部門，提供敏態資料開發支援，最佳化資料生產者和資料消費者協作效率，成為解決以上問題的最佳方案。

在此背景下，為企業引入DataOps過程中提供全面的規劃、建設和產品選型參考，愛分析調研並撰寫了《2022年愛分析DataOps廠商全景報告》。

DataOps市場定義

圖 1：   資料全生命週期

資料全生命週期包括三個階段：首先，由業務部門在業務執行過程中產生原始資料；其次，大資料部門（IT部門）對原始資料進行資料加工；最後，加工後的資料再次回到業務部門完成資料消費。因此，在資料全生命週期中核心環節基本上由大資料部門（IT部門）完成。

大資料部門（IT部門）職責包括兩方面：1）資料資產統一管理；2）支援業務部門的敏穩雙態資料消費需求。

DataOps核心是面向於大資料部門的第二項職責，既滿足業務部門穩態的資料消費需求，如資料包表、資料視覺化、自助式分析等；也要滿足業務部門敏態的資料消費需求，如機器學習建模、智慧推薦等，敏態需求迭代速度更快，其中涉及到很多探索式需求。

DataOps市場定義：服務於業務部門（業務部門ITBP）和大資料部門，滿足敏穩雙態資料消費需求，提升資料加工環節效率的諮詢、工具和服務。

圖 2：   DataOps市場全景地圖

基於資料全生命週期三大階段，進一步將資料加工環節拆分為資料採集（資料同步）、資料開發、資料服務（資料虛擬化）和資料質量提升；將資料消費環節拆分為資料分析和資料應用。並根據每一階段存在的業務需求，對映出對應的細分市場。

本次報告，愛分析認為DataOps全景圖主要覆蓋資料加工環節，具體來說，與資料採集、資料同步對應的是“敏捷資料管道”市場；與資料開發對應的是“一站式資料開發管理平臺”市場；與資料服務對應的是“資料服務平臺”市場、“智慧資料資產目錄”市場和“指標中臺”市場；與資料質量提升對應的是“資料可觀測性平臺”市場和“資料治理”市場。

愛分析認為，甲方企業真正要實現DataOps，必須具備完整的資料能力，建設一整套面向業務需求的資料開發管理機制，僅僅具備單點能力是遠遠不夠的。因此，上述對DataOps市場劃分，主要是考慮到市場發展現狀、甲方企業建設進展和廠商能力，並不意味著具備單點能力就可以實現DataOps。

愛分析綜合考慮市場關注度、甲方需求和實際落地進展等因素，選取以下3個特定市場進行重點分析，分別是“一站式資料開發管理平臺”、“敏捷資料管道”和“智慧資料資產目錄”。

本報告面向金融、製造、汽車、消費品零售、能源等行業的大資料部門負責人、IT部門負責人和業務部門（業務部門ITBP），透過對各特定市場的需求定義和代表廠商能力解讀，為企業數字化轉型規劃與廠商選型提供參考。

廠商入選標準

本次入選報告的廠商需同時符合以下條件：

• 廠商的產品服務滿足各市場分析的廠商能力要求；
• 廠商具備一定數量以上的付費客戶（參考第4章各市場分析部分）；
• 廠商在特定市場的營業收入達到指標要求（參考第4章各市場分析部分）。

2. 市場洞察

1. DataOps市場規模超180億元

愛分析推算，2022年中國DataOps市場規模為185.1億元人民幣，同比增速為13.0%。考慮到大部分DataOps專案甲方還是大型企業，立項和交付受疫情影響很大，2022年增速較2021年明顯放緩，但預計2023年會40%以上的增速，市場進入快速發展階段。

圖 3：   中國DataOps市場規模預測

DataOps市場由軟體產品和服務組成，現階段整個市場並未形成統一標準和規範，絕大多數DataOps專案都是基於甲方企業自身需求進行落地，因此，軟體產品佔比30%左右，大量專案還是以服務為主。大部分DataOps專案是廠商提供核心產品元件，基於實際甲方需求，形成DataOps解決方案。

DataOps市場甲方以金融、製造、能源、消費品與零售等行業為主，主要是以集團型甲方企業和行業頭部甲方企業為主，但兩者對DataOps的需求略有不同。集團型甲方企業在實際開展資料管理工作時，已經深刻意識到資料管理與資料服務的挑戰，正在尋求新的資料管理解決方案。行業頭部甲方企業在數字化轉型、資料能力建設處於行業前列，資料部門自身有很強烈的創新和探索意願，願意嘗試更多新的技術方案。

2. DataOps是實現資料驅動業務的關鍵基礎設施

DataOps概念一經出現，就會不斷跟資料中臺進行比較。愛分析認為， 資料中臺承載了企業實現數字化轉型的長遠願景，DataOps解決了資料驅動業務的實際問題。

2019年至今，資料中臺一直備受詬病，建設預期與實際結果之間的巨大落差是大量資料中臺專案失敗的重要原因之一。 很多資料中臺專案需求來自企業決策者，並非技術部門或資料部門，資料中臺往往承載了企業決策者實現數字化轉型的美好預期，不過數字化轉型並非一蹴而就，企業在數字化轉型中遇到的挑戰也不可能完全依靠技術平臺來解決。

資料中臺建設雖然出現很多負面新聞，但持續數年的資料中臺建設對整個資料智慧市場發展還是起到了重要推動作用。第一，資料中臺在實際企業業務開展中還是發揮了價值，資料驅動業務、資料驅動決策的理念深入人心，越來越多的企業決策者和業務人員重視資料的價值，將資料分析作為一項重要工具。第二， “資料統一管理與共享服務”等理念被大量企業的技術部門和資料部門所接受，越來越多的企業用這套理念來建設自身的資料開發與管理能力。

DataOps的需求多數來自於技術部門或資料部門負責人，解決的是企業開展資料開發管理工作的挑戰。當越來越多的業務部門關注資料，基於資料分析來實現業務增長，對企業的技術部門或資料部門而言， 最大的挑戰是如何基於有限資源，最大化地滿足多個業務部門的資料消費需求。

一味地增加人力和預算，並不能從根本上解決這一問題。以某頭部網際網路公司為例，其資料開發管理團隊一度增加到千人規模，但依然無法滿足各個業務部門提出的資料需求。技術部門的挑戰一定要透過新的資料開發管理服務標準、流程和協作機制來解決，才能滿足企業日益增長的資料消費需求。

愛分析認為，實現資料驅動業務在技術架構創新的同時，還需要關注資料與業務之間的協作機制、流程和標準創新，後者是實現資料驅動業務的關鍵，DataOps重點在解決這一問題。

3. DataOps考驗廠商的產品架構能力

與資料湖倉引擎、實時計算引擎不同，DataOps並非技術架構創新，而是產品架構創新。效能是DataOps專案建設的重要指標，但並非最核心指標。大部分DataOps建設面臨的問題是，如何實現技術、資料和業務的融合，同時滿足三方的需求。

第一， 應用開發與資料開發融合。當前大部分企業的應用開發與資料開發還是分開，但越來越多應用都是數字化應用，基於資料驅動的應用，資料開發與應用開發呈現融合態勢，如何在滿足IT運維、安全等前提下，提升資料開發的效率是一大挑戰，特別是集團型企業多數都有很強的合規要求。

第二， 業務深度參與資料開發工作。當前業務和資料之間的協作並不緊密，自助式分析等資料分析工具興起，讓業務部門具備自助式資料分析和管理的能力，但大部分資料開發工作業務部門依然沒辦法深度參與，會導致很多資料開發工作並不能滿足業務需求，特別是在當下業務快速迭代的背景下。

基於上述挑戰可以看出，每個甲方企業在落地DataOps專案時，一定存在非常大的差異化，但背後要解決的本質問題會非常類似。對於DataOps廠商而言，需要從資料開發管理的全域性出發，以終為始，在設計產品架構時要考慮到企業完整需求，才能夠應對不同DataOps專案的差異化甲方需求。  

3. 廠商全景地圖

愛分析基於對甲方企業和典型廠商的調研以及桌面研究，遴選出在DataOps市場中具備成熟解決方案和落地能力的入選廠商。

4. 市場分析與廠商評估

愛分析對本次DataOps專案重點研究的特定市場定義如下。同時，針對參與此次報告的部分代表廠商，愛分析撰寫了廠商能力評估。

4.1   一站式資料開發管理平臺

市場定義：

一站式資料開發管理平臺，是指標對整個資料加工鏈路進行資料的監控、管理和運維，實現資料質量持續提升。

甲方終端使用者：

金融、製造、汽車、消費品零售、能源等行業的大資料部門負責人、IT部門負責人

甲方核心需求：

對甲方而言，核心是建立一套面向未來資料開發的機制，提升面向業務視角的資料開發能力，而不僅僅是實現資料整合。

過往，甲方更多是將資料整合和管理作為企業的階段性目標和專案來完成，對資料如何應用、如何在業務場景中發揮價值關注度不足。在實踐過程中，投入大量資源和人力，完成資料整合之後，“取數難”、“用數難”、資料質量低等問題依然存在，甲方還是無法發揮資料的價值。

因此，甲方真正需要具備的是一套完整的資料開發管理的能力，包含但不限於統一開發管理平臺、面向業務需求的開發管理流程與機制等。

1） 梳理流程，建立統一的開發管理機制。

• 在甲方現有流程中，應用開發和資料開發往往是分開進行，但考慮到越來越多數字化應用是基於資料驅動這一趨勢下，企業需要考慮將二者融合。過去建設的資料中臺儘管一定程度上能夠支援報表、自助式分析等應用，但實質上仍未能滿足支撐整個資料開發管理體系，無法滿足越來越多基於資料驅動的應用需求，特別是以機器學習建模為代表的探索式應用。
• 隨著企業數字化轉型程度加深，資料管理和應用需求越來越迫切，很多甲方成立專門的資料部門處理資料相關的問題，並與IT部門和業務部門釐清職責邊界，建立起協作關係，資料部門與IT部門、業務部門如何進行協作，內部需要達成共識並建立協作機制。
• 資料開發和管理的建設並非一蹴而就，而是一個長期的工程。在實際建設中，既要考慮長期方向與目標，與整個公司戰略方向相適配，又要設定階段性目標，讓高層和相關部門感受到落地效果。因此，甲方需要明確資料開發和管理的實現路徑，並設定階段性目標。
• 對於金融等強監管行業，整個機制還需要符合監管要求。自資料安全法、個保法等法律法規出 臺以來，監管機構對資料安全審查加強，企業在資料開發和管理過程中要注意合規問題，審慎使用資料，提升資料治理水平。

2） 搭建功能豐富、具備擴充套件性的開發管理平臺。

• 經過多年資訊化和數字化建設，絕大多數甲方已經具備一定資料基礎，以MPP、Hadoop為代表的技術架構，以大資料平臺為核心的資料開發和治理工具，因此，一站式資料開發管理平臺需要相容現有的資料基礎設施。同時，隨著業務的發展，未來產生越來越多的創新業務場景，平臺需要有充分的擴充套件性以應對多元的需求，能夠支援各型別業務場景開展。
• 平臺需要圍繞整個資料開發管理的需求，提供豐富的功能，並具備自動化開發能力。企業需要在這一平臺上完成所有型別資料的開發和管理，覆蓋資料加工全鏈路的監控、管理、運維等需求，具備對全域資料治理的能力。同時，為應對越來越多且時效性越來越強的開發任務，還需要利用自動化工具提升效率。

廠商能力要求：

• 廠商需要具備諮詢能力和成功實踐經驗，能提供成熟的方法論。不僅提供資料平臺的產品，還能夠基於可複用的成功經驗，針對客戶的業務需求和內部建設現狀指導實施落地；需要具備規劃能力，能夠設計一套適用於未來幾年的框架，幫助資料部門、IT部門、業務部門能夠達成共識，透過幫助客戶梳理流程，基於資料產品調整組織架構並最佳化協作方式，提供完整的諮詢服務；此外，還需要為客戶提供建議，幫助甲方設定實現路徑，並制定階段性目標。
• 產品需要有較強的架構能力和可擴充套件性。需要具備解耦能力，採用模組化方式構建，能夠單獨拆分功能模組按需提供。在擴充套件性方面，需要能夠適配企業內的其他生態，支援多種介面協議，已封測及對接多種軟體或硬體介面呼叫等方式，能夠快速滿足企業未來的創新應用。
• 產品需要具備豐富的功能，能夠覆蓋資料加工的全流程，包括資料開發、資料治理、資料資產和運維監控等各個方面，能夠提供多人可協作的專案空間管理，具備持續整合和釋出的能力。

入選標準：

1.符合一站式資料開發管理平臺市場分析的廠商能力要求；

2.累計在該市場服務客戶數10家及以上；

3.累計在該市場收入5000萬及以上；

代表廠商評估：

火山引擎

廠商介紹：

北京火山引擎科技有限公司（以下簡稱“火山引擎”），是位元組跳動旗下的雲服務平臺，將位元組跳動快速發展過程中積累的增長方法、技術能力和工具開放給外部企業，提供雲基礎、影片與內容分發、大資料、人工智慧、開發與運維等服務，幫助企業在數字化升級中實現持續增長。

產品服務介紹：

火山引擎數智平臺（Volcengine Data Intelligence，英文簡稱VeDI），基於位元組跳動資料平臺多年的“資料驅動”實踐經驗，彙集端到端的數智產品、場景化的行業解決方案和專業的數智轉型諮詢。其中大資料研發治理套件DataLeap是一站式大資料研發治理套件解決方案，提供資料整合、開發、運維、治理、資產管理等能力。以獨立部署方式，透過資料治理的思維，綜合運用資料管理制度、人員組織、技術方法和流程標準等手段，幫助企業對資料資產在可用性、完整性和安全上實現全面有效的管理，賦能企業基於資料驅動下的業務創新。目前，已服務幾百家來自汽車、零售、網際網路、金融、文旅等行業的知名企業。

廠商評估：  

整體來看，火山引擎基於數智平臺和一站式大資料研發治理套件打造的資料驅動管理解決方案，在產品功能、產品架構與理念、落地實踐經驗、體系機制四方面具備優勢。

1） 功能豐富易用，提供一站式資料研發全鏈路管理。

DataLeap為企業提供基於DataOps敏捷研發流程、海量任務秒級排程能力和開源計算引擎的擴充能力，覆蓋資料研發與運維、資料治理、資料資產和安全合規等各個方面，賦能業務團隊進行資料自治。

具體來說，在全場景資料整合環節，DataLeap支援20+多源異構資料整合，涵蓋常見的業務儲存系統，支援全量、增量、實時的資料同步；在全鏈路的資料研發環節，DataLeap支援多引擎（批、流、OLAP），敏捷開發CI/C，對開發、測試、釋出、運維等研發全鏈路進行管理；在資料治理環節，DataLeap集合了基線監控、資料質量、SLA治理等能力，提供事前預警、事中處理、事後覆盤及推薦最佳化的功能；在資料資產建設方面，DataLeap具備資料資產快速接入及自動構建全鏈路血緣等技術。

2） 技術架構先進，融合分散式資料治理理念，能夠應對高併發、大批次資料處理需求。

火山引擎創新性提出分散式資料治理的理念，並落地於DataLeap產品中。DataLeap採用了標準化、元件化的解耦架構，各個模組均可獨立使用分散式治理模式，建設週期較短，適配能力強；企業使用者不僅能實現各級業務及個人的自驅治理，還能充分根據業務階段來制定治理的內容，讓資料治理對業務的衝擊和影響可以儘可能最小化；專業的治理知識可以沉澱下來，實現產品化協同，並結合智慧化推薦功能，為企業提升執行效率。

DataLeap透過對引擎和架構的最佳化，提升了產品效能、擴充套件性和實時性，以應對業務多樣性和複雜度帶來的龐大資料處理作業量要求。為滿足時效性的需求，火山引擎透過自研的分散式排程系統，實現了秒級排程能力。同時提供了任務的分級打標機制，透過多種任務資源控制方式，實現資源最合理的調配。還可以根據任務的歷史情況，對不合理的任務配置，提出配置最佳化的告警建議。

3） 資料技術能力均來自於位元組跳動內部多年實踐經驗的積累與沉澱。

VeDI及DataLeap沉澱了位元組跳動各業務線的資料治理經驗和規則，適合多種型別客戶在業務的不同階段使用。

位元組跳動根據內部業務的痛點和需求，從2014年開始研發並逐步迭代出一套能夠挖掘分析海量資料、有效賦能業務的資料平臺。利用這一平臺敏捷支援內部今日頭條、抖音、西瓜影片、朝夕光年等各大業務線後，對大資料的架構、產品、治理、安全隱私、組織設計等方面積累了豐富實踐，開始對外To B輸出和商業化。目前，火山引擎已經沉澱了完整的行業Know-How，能夠基於各部分產品組合和呼叫為客戶提供端到端解決方案，並以整體VeDI的方式呈現。

4） 引入BP機制，幫助客戶建立體系化的資料治理方法。

火山引擎為客戶引入位元組成熟的資料BP模式，從組織層面配合資料產品實現資料治理落地，切實把握業務的痛點，讓資料工具和平臺真正用起來。

資料BP，即“資料業務夥伴”，本質是將具備資料專業能力的人才上升至業務線。資料BP的職責是在一線配合資料分析師充分滿足資料需求，同時保障資料治理工作的有序落地。希望在資料治理成果推進到一定程度之後，為企業進一步探索資料賦能業務發展的方法。

火山引擎還會派專家團隊駐場，近距離參與企業的資料治理工作中。對企業的實際情況進行具體問題分析後，在資料指標治理、業務資料治理、埋點資料治理、資料底座管理體系四大方向上，給出建議並協助企業進行體系化建設，為企業跨職能的資料治理實踐提供長期穩定抓手。

典型客戶：

得到

代表廠商評估：

科傑科技

廠商介紹：

科傑科技是一家資料能力構建商，核心技術團隊擁有豐富的頭部網際網路企業雲資料平臺搭建及運營經驗，致力於將成熟完備的資料底座產品與多業態複雜場景的最佳實踐有機融合，為企業提供資料管理、開發挖掘、運維一體化的整套方案，助力企業快速構建資料能力，實現高度規範化、敏捷化的資料工作協同與資料應用創新。現已服務百餘家 政府單位及金融、能源、汽車、零售等行業頭部企業。

產品服務介紹：

科傑科技核心產品湖倉一體資料智慧平臺 Keen Data Lakehouse是基於雲原生技術自主研發的資料底座產品，產品設計內建12大功能模組，在實現多雲資源統一納管、彈性擴充套件和靈活排程的基礎上，滿足資料統一採集、儲存、開發、管理和服務的需求，具有高效能高穩定性的特性。其中資料開發管理平臺Keen BDP、資料同步系統Keen Dsync、實時計算平臺Keen Stream、資料標準產品Keen DSM、資料質量產品Keen DQM、主資料管理平臺Keen MDM、資料資產目錄Keen Asset、資料服務平臺Keen DAAS、資料標籤平臺Keen TAG功能模組與一站式資料開發管理平臺直接相關。

廠商評估：  

整體來看，科傑科技形成了“領先的大資料技術+全域資料資產管理+大資料工作方法論”三位一體的解決方案，在產品、技術、行業Know-How和諮詢服務方面具備優勢。

1） 產品功能全，產品架構能力強。

• 基於過往實踐，科傑科技覆蓋資料開發管理的全生命週期，產品功能豐富。科傑科技將DataOps的理論融入產品設計中，支援DataOps持續整合、持續開發、持續運營方法論的最佳實踐。科傑產品矩陣覆蓋資料整合、資料轉換、資料開發、智慧任務依賴、智慧血緣解析、自動沉澱資料資產的全生命週期，在貫穿全流程工程化能力的同時提供全域性統一資料標準、資料質量、主資料管理、後設資料管理以及資料安全的全方面資料治理能力，是資料治理與資料工程相融合的增強型大資料平臺產品，提供一站式資料來源到資料洞察分析和資料編織能力，為企業數字化轉型提供資料底座能力。
• 科傑科技對重點功能進行產品化、模組化封裝，整個平臺採取松耦合架構，能夠獨立交付部署。Keen Data Lakehouse整體採用松耦合結構搭建而成，產品具備高度自主性和靈活性。科傑科技針對重點功能進行產品化、模組化封裝，每個模組都能夠與企業內資訊系統進行對接，支援獨立交付和部署應用。因此能夠面向多業態、複雜的業務場景，以樂高式的產品組合方式搭建，支援大型組織全形色精細化業務開展，持續高效地創造高質量、可複用的資料資產。

2） 底層技術架構領先，支撐集團企業多源異構資料統一納管。

• Keen Data Lakehouse採用了領先的湖倉一體、新一代技術架構。這一架構兼具資料倉儲的高效能、強管理能力和資料湖的靈活性，具備批流一體、存算分離、資料編織、ACID事務性等特點，打通企業的資料孤島和資料煙囪，提供一個統一可共享的資料底座。透過將生產過程中大量結構化和非結構化的離線、實時資料抽取到資料倉儲，實現多源多型資料匯聚，為後續資料標準化、資產化、安全管理等需求提供了基礎條件。
• 科傑科技透過多模資料統一處理技術，實現企業資料在資料湖和資料倉儲之上的無縫排程和管理，避免大資料平臺、雲數倉、分析型資料庫等現有資料資產的遷移。既能利用企業已有建設成果提供包容性支撐，對歷史資料、實時資料進行儲存、計算和查詢，保持現有業務的連續性；又能以邏輯統一的資料資產和協作方式進行開發，面向未來資料工作保持開放性，為技術部門與業務部門的高效協作奠定了基礎。

3） 行業落地經驗豐富，對集團企業的資料資產統一管理和高效協作方式有深刻理解。

• 科傑科技的核心研發成員具有網際網路大廠背景和十多年大資料實戰經驗，曾親身經歷大型企業的大資料部門組建、資料中臺專案的建設，對於大型企業的集團、分公司、不同業務條線之間資料許可權、資料安全、資料使用和儲存壓力問題了解深入，能夠根據不同企業的組織架構、業務流程等特點，提出適合的解決方案。
• 基於多年實踐經驗，科傑科技總結形成一套標準完善的企業級資料底座落地實施流程，結合Keen Data Lakehouse產品矩陣，能夠大大提升專案實施效率。目前，已在金融、新零售、能源、工業網際網路、汽車、通訊等行業成功落地，並打造了具有針對性的多個行業解決方案。

4） 具備諮詢服務能力，能為企業持續構建大資料能力提供建議。

• 科傑科技能夠為客戶提供前期的數字化諮詢服務，根據企業現狀給出問題診斷和建設路徑，幫助企業內部的IT技術部門、資料部門和業務部門達成共識、明確目標、梳理流程、制定規則，真正實現資料驅動業務、資料驅動管理，推動一站式資料開發管理平臺專案真正實現落地。

典型客戶：

一汽、中石化、永旺、中金公司、銀華基金

 

4.2   敏捷資料管道

市場定義：

基於ETL、ELT、CDC、Kafka等方式，從多種資料來源採集原始資料，經過資料轉換，儲存至資料湖（資料倉儲)中，實現資料整合和標準化。

甲方終端使用者：

製造、汽車、消費品零售、能源等行業的大資料部門負責人、IT部門負責人和業務部門（業務部門ITBP）

甲方核心需求：

甲方的目標是更加敏捷、自動化地搭建資料管道，並對資料管道進行統一管理和編排。

隨著數字化轉型的深入和資料消費需求的增加，甲方內部的IT環境和資料環境越來越複雜，資料整合工具越來越多，彼此難以融合，相互割裂執行，對運維和管理提出了很高的挑戰。與此同時，資料管道的重要度越來越高，特別在業務部門對資料分析需求日益增長的趨勢之下，越來越多的資料管道建設需求來自於業務部門。

因此，資料管道逐步從整個大資料平臺 獨立出來，作為一個獨立專案進行建設、運維和管理。以新消費、新能源為代表的行業，IT部門規模不大，但業務部門有很強烈的資料分析需求，敏捷、輕量、自助式資料管道建設需求日益增強。

1） 資料型別和應用場景越來越多，對資料管道建設提出了更高要求。

• 傳統企業面臨的資料應用場景也更加多元，如BI報表、實時決策、基於機器學習的預測性分析等；同時，資料體量和多樣性也在快速增長，隨著物聯網應用的落地，時序、GIS、影像、影片、文字等新興資料型別大規模湧現。因此需要支援離線和線上場景，結構化、半結構化、非結構化等資料型別的資料採集。

2） 業務快速迭代，敏捷搭建和自動化運維管理是資料管道建設的必備能力。

• 企業業務進行數字化轉型，產生大量數字化應用，對資料分析、資料應用提出了更高的要求。一方面業務發展變化快，傳統的ETL資料抽取、轉換和載入工作量繁雜，單這一流程會耗費數週乃至上月時間，導致業務面臨時效性之後，因此需要能夠快速搭建資料管道；另一方面隨著管道數量和資料量的迅速增加，資料管道的運維管理壓力變大，人工運維的模式無法應對，需要更多自動化的工具。

廠商能力要求：

• 廠商需要支援多型別資料來源，滿足業務場景需求。同時支援離線和實時整合模式，滿足ETL、ETL、CDC、Kafka等多種技術路線，支援常見的各型別資料來源，滿足各型別業務系統之間複雜的資料分發、推送、傳輸和共享釋出。
• 圍繞著運維管理監控，廠商需要支援豐富的工具鏈和較高的自動化程度。提供元件化的多種型別資料處理工具，支援相互銜接組合，以滿足資料採集、資料轉換、資料儲存過程中的各種資料處理需求，並把重複的工作流程嵌入自動化，提升效率。
• 產品需要具備易用性。資料管道的使用人群不僅僅是IT部門，還有一部分業務部門的ITBP角色，因此根據不同使用角色的需求，需要支援透過拖、拉、拽等簡單操作方式完成資料整合流程的構建和相關功能。

入選標準：

1.符合敏捷資料管道市場分析的廠商能力要求；

2.累計在該市場服務客戶數10家及以上；

3.累計在該市場收入1000萬及以上。

代表廠商評估：

谷雲科技

廠商介紹：

谷雲科技（廣州）有限責任公司成立於2017年，是國內最早一批專注於iPaaS混合整合中臺研發的產品和技術解決方案提供商。公司專注於資料整合、服務整合、MQ訊息整合、API管理領域，從底層開發框架入手完全自主研發，並基於統一平臺自主研發了全線RestCloud系列產品，服務於零售、製造、金融、教育等行業企業客戶，以及政府機構等各類組織。

產品服務介紹：

RestCloud 資料整合平臺是谷雲科技基於DataOps理念完全自主研發和創新的新一代資料整合平臺，平臺一站式融合了ETL、ELT、CDC、API等能力，可幫助企業客戶快速搭建批流一體的資料整合底座，實現業務系統之間的資料整合和多源異構資料的交換和融合。

作為一套面向資料整合的輕量化、標準化產品，RestCloud 資料整合平臺採用全Web化配置，開箱即用，能夠讓使用者實現自助式構建資料管道，並具有豐富的元件，幫助使用者實現開發、測試、釋出、監控、告警、運維等一系列工作。同時，結合谷雲科技的API服務平臺，RestCloud資料整合平臺可以幫助企業快速構建輕量級資料中臺，滿足企業統一資料管理和資料共享需求，幫助IT部門實現對業務部門的支援。

廠商評估：

整體來看，谷雲科技自主研發的資料整合平臺在資料傳輸效能、任務排程架構、產品易用性和系統穩定性等方面具備優勢，同時創新的把CDC和ETL進了一體化設計，使得實時流資料和批資料可以進行混合處理和合並。

1） 技術能力強，覆蓋多種技術路線，滿足多種場景資料處理要求。

• 谷雲科技的RestCloud資料整合平臺支援ETL/ELT離線資料處理和CDC實時資料處理等技術路線，能夠滿足企業客戶離線和實時業務場景的資料處理需求，滿足大中小型企業進行資料倉儲/資料中臺構建、客戶主資料平臺的構建、工業網際網路IoT裝置的資料採集、雲上雲下SaaS資料同步、混合雲資料同步等各種複雜資料整合應用場景的需求。同時，透過配置BI以及API資料服務，谷雲科技還可構建各種資料應用的創新場景，滿足於企業敏態化資料消費需求。

谷雲科技的RestCloud 資料整合平臺能夠廣泛支援企業的各類資料來源和資料型別，不但具備功能強大的離線資料處理能力，同時具備實時資料傳輸能力，能夠支援包含國產資料庫在內的40多個資料來源，以及Kafka、MQTT物聯網資料、HTTP等多型別實時資料流接入。

2） 產品架構設計能力強，具有標準化、輕量化等特點。

• 谷雲科技將RestCloud 資料整合平臺分為執行層、管理層和排程層支援10000+資料管道的準確排程和執行，平臺作為標準化產品，能夠按模組進行自由地分離和組裝，大大增強了平臺的靈活性和可擴充套件性。一方面，平臺可以快速接入新的資料來源，滿足不同場景的資料需求；另一方面，可以根據使用者的偏好和現狀，自定義配置平臺的功能和資料處理元件，平臺採用輕量化架構可以幾分鐘內完成部署上線並可執行在公有云、私有云以及個人電腦上。

3） 產品易用性強，能夠滿足不同發展階段的企業需求。

• 基於過往實踐經驗，谷雲科技將大量資料整合、資料服務過程中涉及的功能模組封裝到RestCloud資料整合平臺中，資料抽取、載入、清洗、運算、脫敏、行轉列、列轉行等相關元件超過100種。

考慮到不同企業使用者自身IT能力的差異，谷雲科技的RestCloud平臺支援自助式開發設計，支援基於純Java語法的自定義規則和演算法，能夠透過規則實現複雜的自定義業務邏輯處理。因此，使用者透過視覺化拖、拉、拽方式，完成資料管道的構建並實現資料抽取、轉換、清洗、脫敏、載入等功能。

4） 底層技術架構以自研為主，平臺系統穩定性、可用性強。

• 谷雲科技基於微服務架構研發的RestCloud資料整合平臺，能夠支援大規模的分散式部署架構，滿足企業使用者的雲原生應用場景的需求。基於微服務架構對整個平臺進行技術解耦，每個功能模組都可以獨立執行，使得平臺未來具備SaaS化的發展潛力。

ETL、ELT、CDC、排程平臺、API開發平臺等技術均以自研為主，而不是基於開源技術架構之上做改進和最佳化，底層技術能力完全自主可控，提升了整個平臺的穩定性和可控性。

典型客戶：

浙商證券、中金財富、三一重工、中建科工、億緯鋰能

4.3   智慧資料資產目錄

市場定義：

面向業務場景，結合機器學習和知識圖譜技術，實現後設資料一站式、自動化管理，包含資料採集、資料血緣、資料標準、資料發現、許可權管理、資產監控等。

甲方終端使用者：

金融、製造、汽車、消費品零售、能源等行業及政府機關的大資料部門負責人、IT部門負責人

甲方核心需求：

業務與資料“脫節”是很多甲方當前面臨的重要問題之一。一方面，資料開發部門對業務理解有限，導致整個資料開發過程緩慢；另一方面，不同業務之間的資料如何打通和融合，建立統一的資料標準，對資料開發部門來說挑戰很大。以政府應急管理為例，資料來自於多個不同的委辦局，需要以一套標準、流程和規範來開展工作，實現對安全隱患的排查、監督和管理，背後是對不同業務的資料表單、欄位和指標的融合和統一。企

針對當前快速、多變的資料服務需求，甲方的目標是基於現有資料資產目錄基礎上增加更多面向業務場景的標籤和指標，實現資料部門與業務部門的連線，並同時具備自動化迭代能力，持續提升資料開發效率。

1） 快速梳理業務、建立業務認知的方法論。

• 以業務為中心，解決“資料在哪裡”、“資料誰負責”以及資料如何用等問題，識別出業務主責部門、相關核心業務系統的核心物件、核心資料，打通查數/取數環節、打通基礎類資料和指標類資料的聯絡。這些問題需要有一套方法論，能夠幫助資料開發部門快速開展工作的標準、流程和規範。

2） 兼顧當前和未來需求的可擴充套件架構。

• 隨著創新業務發展，未來會有越來越多業務部門納入到數字化建設中，資料驅動業務滲透率持續提升，勢必使得資料複雜度持續提升，如何能夠兼顧當前業務需求，併為長期發展奠定基礎，需要一套具備可擴充套件性的技術架構，能支撐未來的更豐富的應用需求，實現業務流程和場景智慧化的提升。

廠商能力要求：

• 廠商需要滿足對甲方業務理解能力，能夠基於業務視角提供解決方案。基於廠商自身積累的方法論，快速從多維度業務視角理解業務表達的含義、關係和趨勢，理解業務服務的物件、範圍，釐清資料與業務、業務與業務之間的關係，建立起對業務的認知，從而指導資料匯聚和資料應用。
• 廠商需要具備較強的技術架構能力，產品滿足自動化和擴充套件性需求。能夠透過原生整合和擴充套件的方式連線全域資料，並結合機器學習和知識圖譜等技術，實現自動編目資料、自動化資料和業務血緣，支援資料治理工作，並滿足不斷豐富的業務場景和資料應用需求。

入選標準：

1.符合智慧資料資產目錄市場分析的廠商能力要求；

2.累計在該市場服務客戶數5家及以上；

3.累計在該市場收入1000萬及以上。

代表廠商評估：

愛數

廠商介紹：

上海愛數資訊科技股份有限公司（簡稱“愛數”）成立於2006年，是領先的全域資料能力服務商。愛數以全域資料能力、統一架構和平臺+生態模式，打造創新的大資料基礎設施，透過AnyBackup、AnyShare、AnyRobot、AnyDATA、AnyFabric等產品覆蓋全域資料的整合、治理、保護，實現資料資產化和知識化，與客戶共創資料驅動型組織。依託自身強大的大資料基礎設施，愛數已服務超40個國家、地區的27000+客戶。

產品服務介紹：

AnyFabric是面向全域資料的資料資產管理平臺，為企業或政府機構提供的一套智慧資料資產管理解決方案。基於領域認知智慧和Data Fabric架構思想，透過對後設資料的全面採集、深度學習、認知推理分析，自動關聯資料的業務語義，快速生成資料資產知識網路，實現業務與資料的連線，業務與業務的連線，從而實現以業務為中心的資料管理和運營，助力客戶實現資料驅動組織，透過認知智慧輔助資料管理和業務決策。目前已經在政府、製造、零售等行業率先落地，已經積累了不少成功落地案例。

廠商評估：

整體來看，愛數基於Data Fabric架構研發的AnyFabric在資料管理架構、認知智慧和開放整合能力上具備優勢。

1） 以業務為中心設計產品架構，產品功能豐富且貼近業務需求。

• AnyFabric透過業務治理整合資料孤島，簡化資料治理。相較於基於數倉的強管控模型下集中化的資料治理，愛數採用了以業務為中心編織、連線所有後設資料，透過建立資料資產知識網路來編織和驅動資料的方式。AnyFabric透過連線型架構和領域認知智慧作為核心引擎，以業務模型為中心連線全域資料，利用知識圖譜引擎構建資料資產知識網路，形成了增強型資料資產目錄。不僅能夠賦能企業整合資料孤島，還能從業務視角出發，自動化、精確指導資料歸集、清洗、開發和加工等，簡化資料治理。
• AnyFabric基於業務提升資料質量，實現資料資產化。AnyFabric所建立的資料資產知識網路，能夠快速發現業務與業務之間的融合關係，監控業務指標、風險定位，做出問題分析、價值判斷等。在資料準備環節圍繞業務透視企業多個系統間的複雜關係，並實現直接獲取業務部門真正需要的原始資料，提高資料質量。基於業務標準並結合領域認知智慧，高效組織和排程資料，開展資料治理，最終有效賦能業務最大化產生價值。
• AnyFabric的業務可擴充套件性強。愛數採用業務視角的連線型架構，並將智慧資產目錄建立的流程和模板固化到產品中。當企業出現新的業務時，將按照步驟進行業務梳理和成果輸出，原有的業務語義能夠由機器學習自動推薦，並識別相關的業務物件、業務物件，最終迅速到融入領域業務知識網路中。後臺透過自動更新，不斷豐富業務和資料之間的關係，實現自動迭代和擴充，更好的應對企業的業務擴張。

2） 融合知識圖譜技術，具備自動化和智慧化能力。

• 愛數在知識圖譜領域已有超過四年的技術沉澱，並在多個行業有成功專案落地經驗。在原有資料資產目錄之上，結合愛數現有知識圖譜技術沉澱，使得資料資產目錄具備自動化和智慧化，形成領域知識網路，並在此基礎上實現推理分析和輔助決策，最終實現業務智慧化。
• AnyFabric透過融合機器學習、知識圖譜等先進技術，實現自動化的後設資料採集、編目資料和資料血緣跟蹤。透過自動抽取本體和連線，並輔以人工校核，自動形成單業務知識圖譜，將多個單業務知識圖譜自動匯聚，連線生成企業級的業務知識網路，賦能資料服務開發工作。藉助自動化、智慧化技術降低整個過程中資料編目的複雜性和工作量，幫助業務和資料管理人員輕鬆掌握資料的轉換和流動。

3） 統一技術架構，能夠與愛數其他產品線融合，能夠提供端到端的解決方案。

• AnyFabric沿用了愛數統一的技術棧架構，與AnyDATA、AnyShare等愛數產品內建對接，在統一的ONE架構上融合部署和深度整合，降低資料管理的運維難度和複雜性，為企業提供全域資料能力和一致的使用者體驗。

典型客戶：

中新天津生態城、郴州市城市大腦、中國中車  

5. 入選廠商列表