玩轉大資料系列之一:資料採集與同步
資料的採集和同步,是先將資料從裝置、或者本地資料來源採集、同步到阿里雲上,然後在阿里雲上對資料進行分析和處理,最終完成您的業務要求。本文向您介紹阿里雲各產品的資料採集和同步的操作實戰文章,您可以根據您使用阿里雲產品,檢視相應的文件教程。
關於資料採集,DataWorks專門有一個模組叫做 ,是阿里巴巴集團對外提供的穩定高效、彈性伸縮的資料同步平臺。致力於提供複雜網路環境下、豐富的異構資料來源之間資料高速穩定的資料移動及同步能力。詳細介紹請參見 資料整合概述 。
MaxCompute
DataWorks
- 新增日誌服務(Loghub)透過資料整合投遞資料
- 新增ElasticSearch透過資料整合匯入資料
- 資料整合最佳實踐—OTSStream配置同步任務
- RDS遷移到Maxcompute實現動態分割槽最佳實踐
Elasticsearch
- 使用DataWorks實現Hadoop與Elasticsearch資料同步
- 使用DataWorks實現MaxCompute與Elasticsearch資料同步
- 阿里雲上資料匯入阿里雲ES(離線)
- 同步 MySQL 資料庫到 Elasticsearch 中並進行搜尋分析
AnalyticDB
DataHub
- 資料同步DTS將RDS資料實時傳輸至DataHub
- 流資料同步DataConnector
- 函式計算作為DataHub後端服務
-
擴容縮容Merge/Split
Datahub具有服務彈性伸縮功能,使用者可根據實時的流量調整Shard數量,來應對突發性的流量增長或達到節約資源的目的。
更多大資料實戰文章
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31551794/viewspace-2374704/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 玩轉大資料系列之二:資料分析與處理大資料
- 玩轉大資料系列之三:資料包表與展示大資料
- 大資料_資料採集_網頁01大資料網頁
- 大資料如何採集資料?大資料的資料從何而來?大資料
- 大資料技術之資料採集篇大資料
- 資料採集知識分享|4大資料採集方式都有什麼?大資料
- 大資料採集:fillna函式大資料函式
- 玩轉大資料系列之四:搜尋服務大資料
- 大資料工程師入門系列—常用資料採集工具(Flume、Logstash 和 Fluentd)大資料工程師
- 學懂分析,玩轉大資料大資料
- 資料分析的根基:資料採集的4大基本特徵特徵
- 亮資料:高效率資料採集,加速大模型訓練!大模型
- 【Python資料採集】國家自然科學基金大資料知識管理服務門戶資料採集Python大資料
- AWR資料採集方法
- Oracle AWR資料採集Oracle
- 資料採集與融合術作業三
- 《大資料: ZooKeeper 資料同步流程》大資料
- 《大資料》配套PPT之一:第1章 大資料概念與應用大資料
- phpQuery採集網站資料PHP網站
- 遊戲平臺採集資料遊戲
- amazon產品採集資料
- 工商資訊資料採集思路
- 網頁資料採集器網頁
- 資料採集作業2
- 資料採集作業二
- 資料採集作業3
- 資料採集實驗四
- UAV心跳機制與容器、程式資料採集
- 資料採集與融合技術作業一
- 資料採集與融合技術作業2
- 資料採集與融合實踐作業三
- 資料採集與技術融合作業3
- 資料採集與融合技術作業四
- 資料採集與融合技術作業4
- 淘寶API系列:如何採集淘寶商品詳情頁資料?API
- 大資料採集之後,怎麼分析才好呢?大資料
- 談談大資料採集和常見問題大資料
- HS系列USB資料採集卡,及高速多通道資料分析軟體詳解