作為IT類職業中的“大熊貓”，大資料人才（資料工程師，資料分析師，資料探勘師，演算法工程師等）、在國內人才市場可謂是一顆閃耀的新星。由於剛剛出於萌芽階段，這個領域出現很大的人才缺口。

1 大資料人才做什麼？

2 需要具備的能力

2.1 精通SQL

2.2 資料模型技能

2.3 ETL設計

2.4 架構專案

3 知識體系

機器學習基礎

機器學習工具

3.1 大資料通用處理平臺

3.2 分散式儲存

3.3 資源排程

3.4 機器學習工具

3.5 資料分析/資料倉儲(SQL類)

3.6 訊息佇列

3.7 流式計算

3.8 日誌收集

3.9 程式語言

3.10 資料分析挖掘

3.11 資料視覺化

3.12 機器學習

4 大資料人才的職業發展

4.1 薪酬待遇

4.2 職業發展路徑

1 大資料人才做什麼？

大資料是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大資料處理相關的職業，透過對資料的挖掘分析來影響企業的商業決策。大資料工程師就是一群“玩資料”的人，玩出資料的商業價值，讓資料變成生產力。大資料和傳統資料的最大區別在於，它是線上的、實時的，規模海量且形式不規整，無章法可循，因此“會玩”這些資料的人就很重要。

【大資料開發學習資料領取方式】：加入大資料技術學習交流群458345782，點選加入群聊，私信管理員即可免費領取

因此，分析歷史、預測未來、最佳化選擇，這是大資料人才在“玩資料”時最重要的三大任務。透過這三個工作方向，他們幫助企業做出更好的商業決策，找出最最佳化的結果。

2 需要具備的能力

2.1 精通SQL

如果英語是業務的交流工具，那麼SQL就是資料的交流工具。一個不會流利的英語的業務人員能有多大的成就？不管任何技術時代的產生和更替，SQL一直是資料的通用語。資料工程師應該有能用SQL表達任何‘相關子查詢’和視窗函式複雜度的技術能力。對資料工程師來說初始SQL／DML/DDL簡單到根本沒有難度。即使是沒有接觸過SQL的人，他也能讀懂並明白資料庫的執行計劃，瞭解所有步驟，知道程式怎麼被呼叫，連線演算法的不同和執行計劃內的分散式維度。

2.2 資料模型技能

作為一個資料工程師，有對實體－關係模型的認知反射，規範化的清晰認識，權衡反規範化的敏銳直覺。資料工程師應該熟悉維度建模及相關概念與術語。

2.3 ETL設計

能夠寫出有效率、有彈性的、“可發展”的ETL任務是一個關鍵。

2.4 架構專案

就如任何一個領域的專家的專業技能一樣，資料工程師需要一個較高層次的綜括，對大多數的工具，平臺，庫，和其他供他支配的資源的瞭解。認識到不同型別的資料庫、計算引擎、流處理器、訊息佇列、工作流協調器、序列化格式及其他相關技術的屬性、用例、微妙之處。在設計解決方案的時候，他應該有能力選擇即將要使用的技術，並有一個構想去協調怎麼使他們一起更好地工作。

3 知識體系

3.1 大資料通用處理平臺

Spark

Flink

Hadoop

3.2 分散式儲存

HDFS

3.3 資源排程

Yarn

Mesos

3.4 機器學習工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微軟分散式機器學習工具)

3.5 資料分析/資料倉儲(SQL類)

Pig

Hive

kylin

Spark SQL,

Spark DataFrame

Impala

Phoenix

ELK

ElasticSearch

Logstash

Kibana

3.6 訊息佇列

Kafka(純日誌類，大吞吐量)

RocketMQ

ZeroMQ

ActiveMQ

RabbitMQ

3.7 流式計算

Storm/JStorm

Spark Streaming

Flink

3.8 日誌收集

Scribe

Flume

3.9 程式語言

Java

Python

R

Ruby

Scala

3.10 資料分析挖掘

MATLAB

SPSS

SAS

3.11 資料視覺化

R

D3.js

ECharts

Excle

Python

3.12 機器學習

機器學習基礎

聚類

時間序列

推薦系統

迴歸分析

文字挖掘

決策樹

支援向量機

貝葉斯分類

神經網路

深度學習