轉型大資料及操作流程

13545163656發表於2018-05-13
大資料
大資料轉型
關係型資料庫------------> 大資料平臺

資料庫：MySQL/Oracle/SQLSERVER------------>HDFS/HBASE/HIVE/KUDU
日誌：LOG------------>HDFS/HBASE/HIVE/KUDU

工作流程：
1、資料同步工具
SQOOP1/2          --
FLUME                -- e.apache.org
KAFKA                -- 

2、儲存第一次落地
HADOOP(HDFS)    --  http://hadoop.apache.org
HBASE                  --  
HIVE                     --  .apache.org
KUDU                    --  

3、程式碼編寫 計算 作業 job
HADOOP(MR2)
HIVE(SQL)
SPARK
FLINK

4 、資源排程和作業排程
HADOOP(YARN)

5、計算結果儲存
HADOOP(HDFS)      -- 
HBASE                    -- 
HIVE                       -- .apache.org
KUDU                      -- 

Redis
ElasticSearch
MySQL
...........

6、視覺化 報表
echarts
superset
saiku
...........

7、提供對外服務REST,API

8、JOB排程 排程工具
shell/python指令碼
crontab
rundeck

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2154422/，如需轉載，請註明出處，否則將追究法律責任。

相關文章