玩轉大資料系列之一：資料採集與同步

資料的採集和同步，是先將資料從裝置、或者本地資料來源採集、同步到阿里雲上，然後在阿里雲上對資料進行分析和處理，最終完成您的業務要求。本文向您介紹阿里雲各產品的資料採集和同步的操作實戰文章，您可以根據您使用阿里雲產品，檢視相應的文件教程。

關於資料採集，DataWorks專門有一個模組叫做 ，是阿里巴巴集團對外提供的穩定高效、彈性伸縮的資料同步平臺。致力於提供複雜網路環境下、豐富的異構資料來源之間資料高速穩定的資料移動及同步能力。詳細介紹請參見 資料整合概述 。

MaxCompute

• Hadoop資料遷移MaxCompute
• JSON資料從OSS遷移到MaxCompute最佳實踐
• JSON資料從MongoDB遷移到MaxCompute最佳實踐

DataWorks

• 新增日誌服務（Loghub）透過資料整合投遞資料
• 新增ElasticSearch透過資料整合匯入資料
• 資料整合最佳實踐—OTSStream配置同步任務
• RDS遷移到Maxcompute實現動態分割槽最佳實踐

Elasticsearch

• 使用DataWorks實現Hadoop與Elasticsearch資料同步
• 使用DataWorks實現MaxCompute與Elasticsearch資料同步
• 阿里雲上資料匯入阿里雲ES（離線）
• 同步 MySQL 資料庫到 Elasticsearch 中並進行搜尋分析

AnalyticDB

• 透過DTS實時同步RDS for MySQL資料到AnalyticDB
• 使用資料整合遷移
• 使用kettle將本地資料匯入分析型資料庫

DataHub

• 資料同步DTS將RDS資料實時傳輸至DataHub
• 流資料同步DataConnector
• 函式計算作為DataHub後端服務
• 擴容縮容Merge/Split
  Datahub具有服務彈性伸縮功能，使用者可根據實時的流量調整Shard數量，來應對突發性的流量增長或達到節約資源的目的。

更多大資料實戰文章