多源資料快速遷移匯聚，杉巖資料推出智慧資料湖新通道

數字經濟時代，非結構化資料爆發式增長，面對容量大、數量和種類繁多的非結構化資料，集中式儲存效能無法滿足應用需求，分散式儲存架構漸成主流。在儲存架構升級過程中，應用業務系統老舊、儲存系統孤立等問題成為資料入湖的阻礙。

資料入湖面臨的常見問題

以智慧生產車間儲存架構升級過程為例，面臨的常見問題有：

應用改造難，架構升級受阻

智慧生產車間的現有機臺系統往往使用 NAS 共享甚至本地檔案方式訪問儲存系統，由於業務系統技術服務終止、架構升級代價昂貴等原因，無法直接對接物件儲存 API 介面，此時企業往往採用如下圖1所示的“臨時寫入本地磁碟+資料同步指令碼”的折中方案，將檔案持續上傳到物件儲存。

圖1 指令碼上傳資料架構

多業務系統/終端管理複雜，效率低

由於智慧生產車間內部資料管理涉及所有生產機臺，而大型智慧製造企業機臺數量往往達到數千級別，單純基於上述單機指令碼分別管理上千個機臺，每個機臺均需要獨立部署和配置，對於運維人員來說顯然過於複雜。

大量機臺運維成本高，業務可靠性低

數千個機臺節點需要單獨運維，業務管理員無法全面主動駕馭，只能定時逐個檢查機臺運轉是否正常，如業務出現故障無法及時處理，不僅消耗人力物力，業務可靠性也缺乏保障。

IT 系統在支撐業務快速發展的同時，企業核心生產資料的安全、可用成為關鍵。資料不斷增長使企業原有的資料儲存不可避免需要升級、擴容和更新換代。海量資料接入難及資料孤島問題，給企業資料的治理和利用帶來了極大阻礙。在此過程中，運維人員往往面臨著應用改造難、多業務系統管理複雜、運維成本高等問題。如何更高效、安全、完整地完成儲存架構升級、替換、遷移的目標，保證業務的連續性？

DataIngestor：資料入湖新通道

基於上述背景，結合客戶業務資料遷移管理需求，杉巖資料全新推出資料入湖新通道 DataIngestor。如圖2所示，DataIngestor 核心元件包括中心集中管控服務 IngestorServer 和終端管理外掛 Agent 兩部分，Agent 以本地服務的形式執行在終端節點上，透過 token 認證與服務端建立安全連線；IngestorServer 基於統一的管理入口對全域性的所有 Agent 進行資料傳輸任務管理，上述三個難題迎刃而解：

圖2 DataIngestor 業務架構圖

·Agent 對本地檔案的全量和持續增量上傳管理，不再需要業務軟體改造或者客戶開發資料管理工具，大大降低了客戶儲存架構升級的門檻。

·視覺化的任務配置，統一的監控系統，大幅降低運維工作量，提升生產效率。

·持續的機臺狀態及資源監控告警，能夠第一時間反饋產線問題，及時處理故障，提升業務可靠性。

此外，如圖3所示，DataIngestor 支援與杉巖 MOS 海量物件儲存的智慧資料處理引擎聯動，基於智慧資料處理引擎的靈活性和對業務流程的支援，資料匯聚的過程中可以根據使用者業務需要觸發相應的資料智慧處理流程，如輸出資料統計分析、業務洞察報告及業務資料風險預警，有效提高企業資料管理效率，助力客戶商業成功。

圖3 DataIngestor 與杉巖 MOS 智慧資料處理引擎聯動示意圖

一探究竟：DataIngestor 功能特性詳解

資料來源端管理

如圖4所示，透過資料來源端管理介面，可以動態增加需要一次性遷移或者持續資料匯聚的資料來源端。

圖4 資料來源端管理

資料目標端

如圖5所示，透過介面可以新增資料目標端，支援自定義名稱、配置儲存桶、服務地址及鑑權金鑰。

圖5 資料目標端管理

任務管理

如圖6所示，在任務管理介面可以選擇已經新增的資料來源端和目標端，配置資料一次性遷移或持續匯聚型別任務；可選擇資料標籤感知策略，上傳檔案的同時根據策略配置自動生成檔案標籤。此外，支援按業務需要調整增量資料掃描間隔，以滿足不同業務壓力場景需要。

對於遷移型別的資料上傳任務，支援配置資料上傳執行時間段，可以按需避開線上業務高峰，在業務閒時啟動歷史資料遷移任務。

圖6 資料傳輸任務管理

Agent管理

如圖7所示，系統管理介面持續展示 Agent 節點的線上狀態、執行任務型別、任務狀態、Agent 本地空間利用率、CPU 使用率及記憶體使用率，同時支援透過 Agent 機器 IP 地址搜尋過濾檢視，大大提升終端節點管理效率。

圖7 Agent 終端節點管理

告警監控管理

如圖8所示，當前支援如下告警型別：

任務傳輸異常告警：不論是節點網路異常，還是其他原因導致資料傳輸任務執行異常，Agent 程式都會及時上報告警到 server 端，方便管理員快速分析，恢復服務。

Agent 本地空間不足告警：業務壓力過大或者網路異常導致的資料堆積，致使本地空間超過一定閾值時，Agent 會自動上報空間不足告警。

Agent 節點失聯告警：當 Agent 節點異常或者網路不通時，server 端會主動觸發告警。

圖8 告警管理

總結

DataIngestor 提供資料來源端/目標端管理，支援配置一次性遷移或持續資料匯聚任務，同時支援自定義資料傳輸動作執行時間段，可選配置資料內容感知策略自動打標籤以便業務檢索管理，省去企業業務軟體改造成本，降低資料入湖門檻，提升業務故障處理效率，大幅降低運維工作量。

同時 DataIngestor 支援與杉巖 MOS 智慧資料處理引擎聯動，能夠主動觸發資料統計分析、業務洞察報告生成和風險預警，支撐企業關鍵業務決策。顯而易見，DataIngestor 是基於杉巖 MOS 的企業資料湖方案絕佳拍檔。