零基礎大資料學習線路詳解

一，題記

要說當下IT行業什麼最火？ABC無出其右。所謂ABC者，AI + Big Data + Cloud也，即人工智慧、大資料和雲端計算(雲平臺)。每個領域目前都有行業領袖在引領前行，今天我們來討論下大資料Big Data這個方向。

二，大資料裡面的角色

【大資料開發學習資料領取方式】：加入大資料技術學習交流群522189307，點選加入群聊，私信管理員即可免費領取

角色一：大資料工程

大資料工程需要解決資料的定義、收集、計算與儲存的工作，因此大資料工程師們在設計和部署這樣的系統時首要考慮的是資料高可用的問題，即大資料工程系統需要實時地為下游業務系統或分析系統提供資料服務；

角色二：大資料分析

大資料分析角色定位於如何利用資料——即從大資料工程系統中接收到資料之後如何為企業或組織提供有產出的資料分析，並且確實能夠幫助到公司進行業務改善或提升服務水平，所以對於大資料分析師來說，他們首要解決的問題是發現並利用資料的價值，具體可能包括：趨勢分析、模型建立以及預測分析等。

這兩類角色相互依存但又獨立運作，何意？沒有大資料工程，大資料分析便無從談起；但倘若沒有大資料分析，我也實在想不出大資料工程存在的理由。這就類似於結婚和談戀愛——戀愛的目的是為了結婚，且不以結婚為目的的談戀愛都是耍流氓。

簡單總結一下，大資料工程角色需要考慮資料的收集、計算(或是處理)和儲存；大資料分析角色則是執行資料的高階計算。

三，大資料工程師

針對角色一：大資料工程說，對應的工作崗位就叫大資料工程師，對於大資料工程師而言，您至少要掌握以下技能：

linux基礎

因為大資料體系，基本都是開源軟體，這些開源軟體都是在開源的linux系統上執行的，所以你必須會基本的linux操作，比如使用者管理，許可權，shell程式設計之類的

一門JVM系語言：

當前大資料生態JVM系語言類的比重極大，某種程度上說是壟斷也不為過。這裡我推薦大家學習Java或Scala，至於Clojure這樣的語言上手不易，其實並不推薦大家使用。另外，如今是“母以子貴”的年代，某個大資料框架會帶火它的程式語言的流行，比如Docker之於Go、Kafka之於Scala。

因此這裡建議您至少要精通一門JVM系的語言。值得一提的，一定要弄懂這門語言的多執行緒模型和記憶體模型，很多大資料框架的處理模式其實在語言層面和多執行緒處理模型是類似的，只是大資料框架把它們引申到了多機分散式這個層面。

建議：學習Java或Scala

計算處理框架：

嚴格來說，這分為離線批處理和流式處理。流式處理是未來的趨勢，建議大家一定要去學習；而離線批處理其實已經快過時了，它的分批處理思想無法處理無窮資料集，因此其適用範圍日益縮小。事實上，Google已經在公司內部正式廢棄了以MapReduce為代表的離線處理。

因此如果要學習大資料工程，掌握一門實時流式處理框架是必須的。當下主流的框架包括：Apache Samza, Apache Storm, Apache Spark Streaming以及最近一年風頭正勁的Apache Flink。當然Apache Kafka也推出了它自己的流式處理框架：Kafka Streams

建議：學習Flink、Spark Streaming或Kafka Streams中的一個。

分散式儲存框架：

雖說MapReduce有些過時了，但Hadoop的另一個基石HDFS依然堅挺，並且是開源社群最受歡迎的分散式儲存，絕對您花時間去學習。

資源排程框架：

Docker可是整整火了最近一兩年。各個公司都在發力基於Docker的容器解決方案，最有名的開源容器排程框架就是K8S了，但同樣著名的還有Hadoop的YARN和Apache Mesos。後兩者不僅可以排程容器叢集，還可以排程非容器叢集，非常值得我們學習。

分散式協調框架：

有一些通用的功能在所有主流大資料分散式框架中都需要實現，比如服務發現、領導者選舉、分散式鎖、KV儲存等。這些功能也就催生了分散式協調框架的發展。最古老也是最有名的當屬Apache Zookeeper了，新一些的包括Consul，etcd等。學習大資料工程，分散式協調框架是不能不瞭解的， 某種程度上還要深入瞭解。

列式儲存資料庫：

曾經花了很長的時間學習Oracle，但不得不承認當下關係型資料庫已經慢慢地淡出了人們的視野，有太多的方案可以替代rdbms了。人們針對行式儲存不適用於大資料ad-hoc查詢這種弊端開發出了列式儲存，典型的列式儲存資料庫就是開源社群的HBASE。

訊息佇列：

大資料工程處理中訊息佇列作為“削峰填谷”的主力系統是必不可少的，當前該領域內的解決方案有很多，包括ActiveMQ，Kafka等。國內阿里也開源了RocketMQ。這其中的翹楚當屬Apache Kafka了。Kafka的很多設計思想都特別契合分佈流式資料處理的設計理念。這也難怪，Kafka的原作者Jay Kreps可是當今實時流式處理方面的頂級大神。

建議：學習Kafka，不僅僅好找工作(幾乎所有大資料招聘簡歷都要求會Kafka:-） )，還能觸類旁通進一步理解基於備份日誌方式的資料處理範型

四，大資料分析師Or資料科學家

針對角色二：大資料分析，對應的工作崗位就叫大資料分析師或者資料科學家，作為資料科學家的我們必須要掌握以下技能：

數學功底：

微積分是嚴格要掌握的。不一定要掌握多元微積分，但一元微積分是必須要熟練掌握並使用的。另外線性代數一定要精通，特別是矩陣的運算、向量空間、秩等概念。當前機器學習框架中很多計算都需要用到矩陣的乘法、轉置或是求逆。雖然很多框架都直接提供了這樣的工具，但我們至少要了解內部的原型原理，比如如何高效判斷一個矩陣是否存在逆矩陣並如何計算等。

重溫同濟版《高等數學》，有條件可以去Coursea學習賓夕法尼亞大學的微積分課程

推薦學習Strang的線性代數：《Introduction to Linear Algebra》——這是最經典的教材，沒有之一！

數理統計：

概率和各種統計學方法要做到基本掌握，比如貝葉斯概率如何計算？概率分佈是怎麼回事？雖不要求精通，但對相關背景和術語一定要了解

找一本《概率論》重新學習下

互動式資料分析框架：

這裡並不是指SQL或資料庫查詢，而是像Apache Hive或Apache Kylin這樣的分析互動框架。開源社群中有很多這樣類似的框架，可以使用傳統的資料分析方式對大資料進行資料分析或資料探勘。

有過使用經驗的是Hive和Kylin。不過Hive特別是Hive1是基於MapReduce的，效能並非特別出色，而Kylin採用資料立方體的概念結合星型模型，可以做到很低延時的分析速度，況且Kylin是第一個研發團隊主力是中國人的Apache孵化專案，因此日益受到廣泛的關注。

首先學習Hive，有時間的話瞭解一下Kylin以及背後的資料探勘思想。

機器學習框架：

機器學習當前真是火爆宇宙了，人人都提機器學習和AI，但筆者一直認為機器學習恰似幾年前的雲端計算一樣，目前雖然火爆，但沒有實際的落地專案，可能還需要幾年的時間才能逐漸成熟。

不過在現在就開始儲備機器學習的知識總是沒有壞處的。說到機器學習的框架，大家耳熟能詳的有很多種, 信手拈來的就包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，其中又以TensorFlow領銜。

當前建議大家選取其中的一個框架進行學習，但以我對這些框架的瞭解，這些框架大多很方便地封裝了各種機器學習演算法提供給使用者使用，但對於底層演算法的瞭解其實並沒有太多可學習之處。因此還是建議可以從機器學習演算法的原理來進行學習，比如：

目前機器學習領域最NB的入門課程：吳恩達博士的Machine Learning

五，大資料必備技能詳細

因為本身是偏Java應用方向的，所以整理的大資料必備技能詳細，也是偏向於大資料工程師方向。總共分為五大部分，分別是：

離線計算Hadoop

流式計算Storm

記憶體計算Spark

機器學習演算法

linux操作基礎

linux常用命令–檔案操作

linux常用命令–使用者管理與許可權

linux常用命令–系統管理

linux常用命令–免密登陸配置與網路管理

linux上常用軟體安裝

linux本地yum源配置及yum軟體安裝

linux防火牆配置

linux高階文字處理命令cut、sed、awk

linux定時任務crontab

【大資料開發學習資料領取方式】：加入大資料技術學習交流群522189307，點選加入群聊，私信管理員即可免費領取

shell程式設計

shell程式設計–基本語法

shell程式設計–流程控制

shell程式設計–函式

shell程式設計–綜合案例–自動化部署指令碼

記憶體資料庫redis

redis和nosql簡介

redis客戶端連線

redis的string型別資料結構操作及應用-物件快取

redis的list型別資料結構操作及應用案例-任務排程佇列

redis的hash及set資料結構操作及應用案例-購物車

redis的sortedset資料結構操作及應用案例-排行榜

布式協調服務zookeeper

zookeeper簡介及應用場景

zookeeper叢集安裝部署

zookeeper的資料節點與命令列操作

zookeeper的java客戶端基本操作及事件監聽

zookeeper核心機制及資料節點

zookeeper應用案例–分散式共享資源鎖

zookeeper應用案例–伺服器上下線動態感知

zookeeper的資料一致性原理及leader選舉機制

java高階特性增強

Java多執行緒基本知識

Java同步關鍵詞詳解

java併發包執行緒池及在開源軟體中的應用

Java併發包訊息隊裡及在開源軟體中的應用

Java JMS技術

Java動態代理反射

輕量級RPC框架開發

RPC原理學習

Nio原理學習

Netty常用API學習

輕量級RPC框架需求分析及原理分析

輕量級RPC框架開發

離線計算Hadoop

hadoop快速入門

hadoop背景介紹

分散式系統概述

離線資料分析流程介紹

叢集搭建

叢集使用初步

HDFS增強

HDFS的概念和特性

HDFS的shell(命令列客戶端)操作

HDFS的工作機制

NAMENODE的工作機制

java的api操作

案例1：開發shell採集指令碼

MAPREDUCE詳解

自定義hadoop的RPC框架

Mapreduce程式設計規範及示例編寫

Mapreduce程式執行模式及debug方法

mapreduce程式執行模式的內在機理

mapreduce運算框架的主體工作流程

自定義物件的序列化方法

MapReduce程式設計案例

MAPREDUCE增強

Mapreduce排序

自定義partitioner

Mapreduce的combiner

mapreduce工作機制詳解

MAPREDUCE實戰

maptask並行度機制-檔案切片

maptask並行度設定

倒排索引

共同好友

federation介紹和hive使用

Hadoop的HA機制

HA叢集的安裝部署

叢集運維測試之Datanode動態上下線

叢集運維測試之Namenode狀態切換管理

叢集運維測試之資料塊的balance

HA下HDFS-API變化

hive簡介

hive架構

hive安裝部署

hvie初使用

hive增強和flume介紹

HQL-DDL基本語法

HQL-DML基本語法

HIVE的join

HIVE 引數配置

HIVE 自定義函式和Transform

HIVE 執行HQL的例項分析

HIVE最佳實踐注意點

HIVE優化策略

HIVE實戰案例

Flume介紹

Flume的安裝部署

案例：採集目錄到HDFS

案例：採集檔案到HDFS

流式計算Storm

Storm從入門到精通

Storm是什麼

Storm架構分析

Storm架構分析

Storm程式設計模型、Tuple原始碼、併發度分析

Storm WordCount案例及常用Api分析

Storm叢集部署實戰

Storm+Kafka+Redis業務指標計算

Storm原始碼下載編譯

Strom叢集啟動及原始碼分析

Storm任務提交及原始碼分析

Storm資料傳送流程分析

Storm通訊機制分析

Storm訊息容錯機制及原始碼分析

Storm多stream專案分析

編寫自己的流式任務執行框架

Storm上下游及架構整合

訊息佇列是什麼

Kakfa核心元件

Kafka叢集部署實戰及常用命令

Kafka配置檔案梳理

Kakfa JavaApi學習

Kafka檔案儲存機制分析

Redis基礎及單機環境部署

Redis資料結構及典型案例

Flume快速入門

Flume+Kafka+Storm+Redis整合

記憶體計算Spark

scala程式設計

scala程式設計介紹

scala相關軟體安裝

scala基礎語法

scala方法和函式

scala函數語言程式設計特點

scala陣列和集合

scala程式設計練習（單機版WordCount）

scala物件導向

scala模式匹配

actor程式設計介紹

option和偏函式

實戰：actor的併發WordCount

柯里化

隱式轉換

AKKA與RPC

Akka併發程式設計框架

實戰：RPC程式設計實戰

Spark快速入門

spark介紹

spark環境搭建

RDD簡介

RDD的轉換和動作

實戰：RDD綜合練習

RDD高階運算元

自定義Partitioner

實戰：網站訪問次數

廣播變數

實戰：根據IP計算歸屬地

自定義排序

利用JDBC RDD實現資料匯入匯出

WorldCount執行流程詳解

RDD詳解

RDD依賴關係

RDD快取機制

RDD的Checkpoint檢查點機制

Spark任務執行過程分析

RDD的Stage劃分

Spark-Sql應用

Spark-SQL

Spark結合Hive

DataFrame

實戰：Spark-SQL和DataFrame案例

SparkStreaming應用實戰

Spark-Streaming簡介

Spark-Streaming程式設計

實戰：StageFulWordCount

Flume結合Spark Streaming

Kafka結合Spark Streaming

視窗函式

ELK技術棧介紹

ElasticSearch安裝和使用

Storm架構分析

Storm程式設計模型、Tuple原始碼、併發度分析

Storm WordCount案例及常用Api分析

Spark核心原始碼解析

Spark原始碼編譯

Spark遠端debug

Spark任務提交行流程原始碼分析

Spark通訊流程原始碼分析

SparkContext建立過程原始碼分析

DriverActor和ClientActor通訊過程原始碼分析

Worker啟動Executor過程原始碼分析

Executor向DriverActor註冊過程原始碼分析

Executor向Driver註冊過程原始碼分析

DAGScheduler和TaskScheduler原始碼分析

Shuffle過程原始碼分析

Task執行過程原始碼分析

機器學習演算法

python及numpy庫

機器學習簡介

機器學習與python

python語言–快速入門

python語言–資料型別詳解

python語言–流程控制語句

python語言–函式使用

python語言–模組和包

phthon語言–物件導向

python機器學習演算法庫–numpy

機器學習必備數學知識–概率論

常用演算法實現

knn分類演算法–演算法原理

knn分類演算法–程式碼實現

knn分類演算法–手寫字識別案例

lineage迴歸分類演算法–演算法原理

lineage迴歸分類演算法–演算法實現及demo

樸素貝葉斯分類演算法–演算法原理

樸素貝葉斯分類演算法–演算法實現

樸素貝葉斯分類演算法–垃圾郵件識別應用案例

kmeans聚類演算法–演算法原理

kmeans聚類演算法–演算法實現

kmeans聚類演算法–地理位置聚類應用

決策樹分類演算法–演算法原理

決策樹分類演算法–演算法實現

【大資料開發學習資料領取方式】：加入大資料技術學習交流群522189307，點選加入群聊，私信管理員即可免費領取

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69903766/viewspace-2645472/，如需轉載，請註明出處，否則將追究法律責任。