大資料最佳學習路線

一，題記

要說當下IT行業什麼最火？ABC無出其右。所謂ABC者，AI + Big Data + Cloud也，即人工智慧、大資料和雲端計算(雲平臺)。每個領域目前都有行業領袖在引領前行，今天我們來討論下大資料Big Data這個方向。如果您感覺閱讀文字太累，可以點選下面音訊！

二，大資料裡面的角色

角色一：大資料工程

大資料工程需要解決資料的定義、收集、計算與儲存的工作，因此大資料工程師們在設計和部署這樣的系統時首要考慮的是資料高可用的問題，即大資料工程系統需要實時地為下游業務系統或分析系統提供資料服務；

角色二：大資料分析

大資料分析角色定位於如何利用資料——即從大資料工程系統中接收到資料之後如何為企業或組織提供有產出的資料分析，並且確實能夠幫助到公司進行業務改善或提升服務水平，所以對於大資料分析師來說，他們首要解決的問題是發現並利用資料的價值，具體可能包括：趨勢分析、模型建立以及預測分析等。

這兩類角色相互依存但又獨立運作，何意？沒有大資料工程，大資料分析便無從談起；但倘若沒有大資料分析，我也實在想不出大資料工程存在的理由。這就類似於結婚和談戀愛——戀愛的目的是為了結婚，且不以結婚為目的的談戀愛都是耍流氓。

簡單總結一下，大資料工程角色需要考慮資料的收集、計算(或是處理)和儲存；大資料分析角色則是執行資料的高階計算。

三，大資料工程師

針對角色一：大資料工程說，對應的工作崗位就叫大資料工程師，對於大資料工程師而言，您至少要掌握以下技能：

linux基礎

因為大資料體系，基本都是開源軟體，這些開源軟體都是在開源的linux系統上執行的，所以你必須會基本的linux操作，比如使用者管理，許可權，shell程式設計之類的

一門JVM系語言：

當前大資料生態JVM系語言類的比重極大，某種程度上說是壟斷也不為過。這裡我推薦大家學習Java或Scala，至於Clojure這樣的語言上手不易，其實並不推薦大家使用。另外，如今是“母以子貴”的年代，某個大資料框架會帶火它的程式語言的流行，比如Docker之於Go、Kafka之於Scala。

因此筆者這裡建議您至少要精通一門JVM系的語言。值得一提的，一定要弄懂這門語言的多執行緒模型和記憶體模型，很多大資料框架的處理模式其實在語言層面和多執行緒處理模型是類似的，只是大資料框架把它們引申到了多機分散式這個層面。

筆者建議：學習Java或Scala

計算處理框架：

嚴格來說，這分為離線批處理和流式處理。流式處理是未來的趨勢，建議大家一定要去學習；而離線批處理其實已經快過時了，它的分批處理思想無法處理無窮資料集，因此其適用範圍日益縮小。事實上，Google已經在公司內部正式廢棄了以MapReduce為代表的離線處理。

因此如果要學習大資料工程，掌握一門實時流式處理框架是必須的。當下主流的框架包括：Apache Samza, Apache Storm, Apache Spark Streaming以及最近一年風頭正勁的Apache Flink。當然Apache Kafka也推出了它自己的流式處理框架：Kafka Streams

筆者建議：學習Flink、Spark Streaming或Kafka Streams中的一個

熟讀Google大神的這篇文章：《The world beyond batch: Streaming 101》，地址是https://www.oreilly.com/ideas/th ... batch-streaming-101

分散式儲存框架：

雖說MapReduce有些過時了，但Hadoop的另一個基石HDFS依然堅挺，並且是開源社群最受歡迎的分散式儲存，絕對您花時間去學習。如果想深入研究的話，Google的GFS論文也是一定要讀的（[url=]https://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf[/url]）。當然開源世界中還有很多的分散式儲存，國內阿里巴巴的OceanBase也是很優秀的一個。

筆者建議：學習HDFS

資源排程框架：

Docker可是整整火了最近一兩年。各個公司都在發力基於Docker的容器解決方案，最有名的開源容器排程框架就是K8S了，但同樣著名的還有Hadoop的YARN和Apache Mesos。後兩者不僅可以排程容器叢集，還可以排程非容器叢集，非常值得我們學習。

筆者建議：學習YARN

分散式協調框架：

有一些通用的功能在所有主流大資料分散式框架中都需要實現，比如服務發現、領導者選舉、分散式鎖、KV儲存等。這些功能也就催生了分散式協調框架的發展。最古老也是最有名的當屬Apache Zookeeper了，新一些的包括Consul，etcd等。學習大資料工程，分散式協調框架是不能不瞭解的， 某種程度上還要深入瞭解。

筆者建議：學習Zookeeper——太多大資料框架都需要它了，比如Kafka, Storm, HBase等

KV資料庫：

典型的就是memcache和Redis了，特別是Redis簡直是發展神速。其簡潔的API設計和高效能的TPS日益得到廣大使用者的青睞。即使是不學習大資料，學學Redis都是大有裨益的。

筆者建議：學習Redis，如果C語言功底好的，最好熟讀原始碼，反正原始碼也不多

列式儲存資料庫：

筆者曾經花了很長的時間學習Oracle，但不得不承認當下關係型資料庫已經慢慢地淡出了人們的視野，有太多的方案可以替代rdbms了。人們針對行式儲存不適用於大資料ad-hoc查詢這種弊端開發出了列式儲存，典型的列式儲存資料庫就是開源社群的HBASE。實際上列式儲存的概念也是出自Google的一篇論文：Google BigTable，有興趣的話大家最好讀一下：[url=]https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf[/url]

筆者建議：學習HBASE，這是目前應用最廣泛的開源列式儲存

訊息佇列：

大資料工程處理中訊息佇列作為“削峰填谷”的主力系統是必不可少的，當前該領域內的解決方案有很多，包括ActiveMQ，Kafka等。國內阿里也開源了RocketMQ。這其中的翹楚當屬Apache Kafka了。Kafka的很多設計思想都特別契合分佈流式資料處理的設計理念。這也難怪，Kafka的原作者Jay Kreps可是當今實時流式處理方面的頂級大神。

筆者建議：學習Kafka，不僅僅好找工作(幾乎所有大資料招聘簡歷都要求會Kafka:-） )，還能觸類旁通進一步理解基於備份日誌方式的資料處理範型

四，大資料分析師Or資料科學家

針對角色二：大資料分析，對應的工作崗位就叫大資料分析師或者資料科學家，作為資料科學家的我們必須要掌握以下技能：

數學功底：

微積分是嚴格要掌握的。不一定要掌握多元微積分，但一元微積分是必須要熟練掌握並使用的。另外線性代數一定要精通，特別是矩陣的運算、向量空間、秩等概念。當前機器學習框架中很多計算都需要用到矩陣的乘法、轉置或是求逆。雖然很多框架都直接提供了這樣的工具，但我們至少要了解內部的原型原理，比如如何高效判斷一個矩陣是否存在逆矩陣並如何計算等。

重溫同濟版《高等數學》，有條件可以去Coursea學習賓夕法尼亞大學的微積分課程

推薦學習Strang的線性代數：《Introduction to Linear Algebra》——這是最經典的教材，沒有之一！

數理統計：

概率論和各種統計學方法要做到基本掌握，比如貝葉斯概率如何計算？概率分佈是怎麼回事？雖不要求精通，但對相關背景和術語一定要了解

找一本《概率論》重新學習下

互動式資料分析框架：

這裡並不是指SQL或資料庫查詢，而是像Apache Hive或Apache Kylin這樣的分析互動框架。開源社群中有很多這樣類似的框架，可以使用傳統的資料分析方式對大資料進行資料分析或資料探勘。

筆者有過使用經驗的是Hive和Kylin。不過Hive特別是Hive1是基於MapReduce的，效能並非特別出色，而Kylin採用資料立方體的概念結合星型模型，可以做到很低延時的分析速度，況且Kylin是第一個研發團隊主力是中國人的Apache孵化專案，因此日益受到廣泛的關注。

首先學習Hive，有時間的話瞭解一下Kylin以及背後的資料探勘思想。

機器學習框架：

機器學習當前真是火爆宇宙了，人人都提機器學習和AI，但筆者一直認為機器學習恰似幾年前的雲端計算一樣，目前雖然火爆，但沒有實際的落地專案，可能還需要幾年的時間才能逐漸成熟。

不過在現在就開始儲備機器學習的知識總是沒有壞處的。說到機器學習的框架，大家耳熟能詳的有很多種, 信手拈來的就包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711等，其中又以TensorFlow領銜。

筆者當前建議大家選取其中的一個框架進行學習，但以我對這些框架的瞭解，這些框架大多很方便地封裝了各種機器學習演算法提供給使用者使用，但對於底層演算法的瞭解其實並沒有太多可學習之處。因此筆者還是建議可以從機器學習演算法的原理來進行學習