從資料到洞察：DataOps加速AI模型開發的秘密實踐大公開！

海豚调度發表於2024-07-08

AI模型

作者 | 代立冬，白鯨開源科技聯合創始人&CTO

引言

在AI驅動的商業世界中，DataOps作為連線資料與洞察的橋樑，正迅速成為企業資料戰略的核心。

在WOT全球技術創新大會2024·北京站，白鯨開源聯合創始人&CTO 代立冬 在「大資料技術與基礎設施」專場深入分析DataOps的核心理念、AI大模型開發流程，並透過白鯨開源科技的實踐案例，展望了DataOps的未來。

DataOps核心理念

DataOps是一種新興的資料管理和開發方法論，旨在透過自動化和協作，提高資料管道的效率和質量。

DataOps 在大模型開發中的作用

大模型訓練關鍵要素：

資料集：大量、多樣化、高質量的資料是訓練和微調大模型的基礎
模型架構：包括網路層數、隱藏層的大小、引數的型別等
算力：大模型訓練需要極其強大計算資源，包括高效能的GPU，如 A100 等

DataOps與AI模型開發的融合，將加速AI模型的開發週期，提升模型的準確性和效率。

大模型訓練流程

大模型訓練是一個多階段過程，涉及資料工程、演算法工程和運維。

資料工程階段包括：

資料來源：確定資料起點，包括雲、SaaS、本地等混合資料來源。
資料準備與資料流管理：涉及資料抽取、轉換、載入（ETL）和資料質量管理。
大模型訓練：利用高質量資料訓練模型，包括模型評估與測試。
資料質量管理：包括資料版本管理、資料質量管控、資料影響分析

演算法工程階段包括大模型訓練、模型評估預測試，其中，經過預訓練、指令微調、增強學習的步驟，並完成效能評估、模型驗證和模型最佳化，訓練編排的pipeline才算完成，最終將訓練完成的模型應用於實際業務場景。

企業面臨的資料挑戰

企業在新技術環境下，面臨資料來源多樣化、資料處理流程複雜化等挑戰，具體包括：

企業內擁有多組 “資料平臺”，資料資源和流程分散在各部門，難以掌控；
企業大資料開發處於“野蠻生長狀態”，整體研發管理距離應用開發DevOps流程相差甚遠；
大資料、流資料、AI資料加工缺乏工具管控形成了企業新的“蜘蛛網”；
多種新興資料引擎、雲原生、新資料架構的變化缺乏管控，資料血緣、同步、排程與資料發展嚴重落後。

新技術環境下EtLT架構出現

雲、SaaS、本地混合資料來源讓傳統的資料處理流程從ETL、ELT變為能更加快速滿足業務需求的EtLT架構，EtLT能更加敏捷地應對離線/實時資料湖、資料倉儲、AI模型訓練當中的複雜多變的資料需求場景，從而解決以上企業面臨的諸多資料挑戰。

白鯨開源是一家開源原生的DataOps商業公司，由多個Apache Member成立，80%員工都是Apache Committer，主導2個 Apache頂級開源專案(Apache DolphinScheduler, Apache SeaTunnel），同時根據全球最佳實踐釋出商業版本 --WhaleStudio，幫助企業在大資料和AI時代智慧化地完成多資料來源、多雲及信創環境的資料整合，資料開發、工作流編排運維及部署、資料質量管控、團隊敏捷協作等一系列問題，已在 6000多家企業中得到實踐和使用。

DataOps關鍵實踐之任務排程平臺

Apache DolphinScheduler：雲原生排程引擎

作為雲原生的排程引擎，DolphinScheduler支援大資料工作流，解決企業級場景中的多個任務單元、高執行頻率、資料量大等痛點。

DataOps關鍵實踐之資料整合工具

Apache SeaTunnel：新一代實時多源資料同步工具

在資料整合領域，企業面臨的技術和業務挑戰同樣嚴峻：

資料來源多達幾百種，版本間不相容，而且不斷有新的出現；
資料丟失與重複，無法一致性
出現問題無法回滾或者斷點繼續執行
同步過程不透明，缺少監控
頻繁讀取 binlog 對資料來源端影響大
大事務、Schema 變更影響下游
低吞吐高時延導致資料無法及時到達
離線同步和實時同步常被分開管理，維護困難
資料割接人工進行

Apache SeaTunnel是新一代實時多源資料同步工具，支援130+種資料來源，提供批次和實時資料整合。可以有效地解決以上企業面臨的困境。

Apache SeaTunnel特點

同時，為了實現更高效的資料整合，Apache SeaTunnel社群還“重複造輪子”，自研了專門為資料引擎而設計的SeaTunnel Zeta Engine。

與Spark、Flink等流行引擎相比，Apache SeaTunnel在資料同步上的優勢顯而易見：

典型案例

同樣地，Apache SeaTunnel以其強大的資料同步和整合效能在數千家企業的大資料處理中作為重要的一環，發揮著不可替代的作用。典型的使用者包括美國醉的商業銀行摩根大通銀行和嗶哩嗶哩，兩者分別利用Apache SeaTunnel高效解決了跨雲資料準備和異構資料實時資料同步的巨大挑戰。

白鯨開源DataOps實踐

白鯨開源科技是DataOps領域的領先實踐者，提供開源解決方案和商業產品，為企業資料打造全流程DataOps閉環。

穩定高效的企業級dDataOps平臺——WhaleStudio

WhaleStudio基於Apache DolphinScheduler和Apache SeaTunnel，是一個分散式、雲原生並帶有強大視覺化介面的 DataOps系統，增加了商業客戶所需的企業級特性：

完全自主研發，上下游生態圈廣闊，支援 160+ 種資料來源
全面支援雲原生—雲、倉、湖實時/離線批流一體化任務管控
低程式碼實現企業大資料的作業系統和高速公路
完善的DataOps流程可無縫整合程式碼工具
豐富的資料來源對接和傳統ETL資料元件支援

一站式完成從開發-》測試-》上線-》的運維閉環

WhaleStudio技術架構

工作流編排能力

WhaleStudio具有強大的工作流編排能力：

支援各類計算任務元件：Amazon DMS、Azure Datafactory，Amazon Datasync、Apache Linkis，DataX，Sqoop，SeaTunnel等
支援各類雲資料庫和計算架構，支援 K8S、MLDB。
平臺採用外掛式設計，支援自由擴充套件資料來源支援。
視覺化的資料來源管理，資料來源統一集中管理，一次配置，到處使用，大大減少配置修改帶來的工作量。