純乾貨分享 —— 大資料入門指南

heibaiying發表於2019-06-19
大資料

專案 GitHub 地址：https://github.com/heibaiying/BigData-Notes

✒️ 前 言

  1. 大資料常用技術棧思維導圖
  2. 大資料常用軟體安裝指南

一、Hadoop

  1. 分散式檔案儲存系統——HDFS
  2. 分散式計算框架——MapReduce
  3. 叢集資源管理器——YARN
  4. Hadoop單機偽叢集環境搭建
  5. Hadoop叢集環境搭建
  6. HDFS常用Shell命令
  7. HDFS Java API的使用
  8. 基於Zookeeper搭建Hadoop高可用叢集

二、Hive

  1. Hive簡介及核心概念
  2. Linux環境下Hive的安裝部署
  3. Hive CLI和Beeline命令列的基本使用
  4. Hive 常用DDL操作
  5. Hive 分割槽表和分桶表
  6. Hive 檢視和索引
  7. Hive常用DML操作
  8. Hive 資料查詢詳解

三、Spark

Spark Core :

  1. Spark簡介
  2. Spark開發環境搭建
  3. 彈性式資料集RDD
  4. RDD常用運算元詳解
  5. Spark執行模式與作業提交
  6. Spark累加器與廣播變數
  7. 基於Zookeeper搭建Spark高可用叢集

Spark SQL :

  1. DateFrame 和 DataSet
  2. Structured API的基本使用
  3. Spark SQL外部資料來源
  4. Spark SQL常用聚合函式
  5. Spark SQL JOIN 操作

Spark Streaming ：

  1. Spark Streaming 簡介
  2. Spark Streaming 基本操作
  3. Spark Streaming 整合 Flume
  4. Spark Streaming 整合 Kafka

四、Storm

  1. Storm和流處理簡介
  2. Storm核心概念詳解
  3. Storm單機環境搭建
  4. Storm叢集環境搭建
  5. Storm程式設計模型詳解
  6. Storm專案三種打包方式對比分析
  7. Storm整合Redis詳解
  8. Storm整合HDFS/HBase
  9. Storm整合Kafka

TODO

六、HBase

  1. Hbase 簡介
  2. HBase系統架構及資料結構
  3. HBase基本環境搭建(Standalone /pseudo-distributed mode)
  4. HBase叢集環境搭建
  5. HBase常用Shell命令
  6. HBase Java API
  7. Hbase 過濾器詳解
  8. HBase 協處理器詳解
  9. HBase 容災與備份
  10. HBase的SQL中間層——Phoenix
  11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

  1. Kafka 簡介
  2. 基於Zookeeper搭建Kafka高可用叢集
  3. Kafka 生產者詳解
  4. Kafka 消費者詳解
  5. 深入理解Kafka副本機制

八、Zookeeper

  1. Zookeeper 簡介及核心概念
  2. Zookeeper單機環境和叢集環境搭建
  3. Zookeeper常用Shell命令
  4. Zookeeper Java 客戶端——Apache Curator
  5. Zookeeper ACL許可權控制

九、Flume

  1. Flume簡介及基本使用
  2. Linux環境下Flume的安裝部署
  3. Flume整合Kafka

十、Sqoop

  1. Sqoop簡介與安裝
  2. Sqoop的基本使用

十一、Azkaban

  1. Azkaban簡介
  2. Azkaban3.x 編譯及部署
  3. Azkaban Flow 1.0 的使用
  4. Azkaban Flow 2.0 的使用

十二、Scala

  1. Scala簡介及開發環境配置
  2. 基本資料型別和運算子
  3. 流程控制語句
  4. 陣列——Array
  5. 集合型別綜述
  6. 常用集合型別之——List & Set
  7. 常用集合型別之——Map & Tuple
  8. 類和物件
  9. 繼承和特質
  10. 函式 & 閉包 & 柯里化
  11. 模式匹配
  12. 型別引數
  13. 隱式轉換和隱式引數

十三、公共內容

  1. 大資料應用常用打包方式

? 後 記

相關文章