零基礎學大資料的路線和方向

大資料本質是：資料探勘深度和應用廣度的結合。對海量資料進行有效的分析和處理，而不單單是資料量大就叫大資料。

隨著人們對大資料的認識越來越深入，很多零基礎人員看到了大資料的未來，也想學習這個前沿技術，踏入時代的領軍行業。但是一直沒有一個很好的思路和方向，本文將詳細的講解零基礎如何學大資料。

大資料三大學習方向 ：大資料開發師、大資料架構師、大資料運維師

大資料開發師和大資料架構師必須熟練Hadoop、Spark、Storm等主流大資料平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對資料的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的元件如： Yarn，HBase、Hive、Pig等重要元件，能夠實現對平臺監控、輔助運維繫統的開發。

通過學習一系列面向開發者的Hadoop、Spark等大資料平臺開發技術，掌握設計開發大資料系統或平臺的工具和技能，能夠從事分散式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如效能改進、功能擴充套件、故障分析等。

【大資料開發學習資料領取方式】：加入大資料技術學習交流群522189307，點選加入群聊，私信管理員即可免費領取

大資料運維師只需瞭解Hadoop、Spark、Storm等主流大資料平臺的核心框架，熟悉Hadoop的核心元件：HDFS、MapReduce、Yarn；具備大資料叢集環境的資源配置，如網路要求、硬體配置、系統搭建。熟悉各種大資料平臺的部署方式，叢集搭建，故障診斷、日常維護、效能優化，同時負責平臺上的資料採集、資料清洗、資料儲存，資料維護及優化。熟練使用Flume、Sqoop等工具將外部資料載入進入大資料平臺，通過管理工具分配叢集資源實現多使用者協同使用叢集資源。通過靈活、易擴充套件的Hadoop平臺轉變了傳統的資料庫和資料倉儲系統架構，從Hadoop部署實施到執行全程的狀態監控，保證大資料業務應用的安全性、快速響應及擴充套件能力！

選擇大資料不同階段職位要求

資料儲存階段：SQL，oracle，IBM等等都有相關的課程，根據公司的不同，學習好這些企業的開發工具，基本可以勝任此階段的職位。

資料探勘 清洗 篩選：大資料工程師，要學習JAVA，Linux，SQL，Hadoop，資料序列化系統Avro，資料倉儲Hive，分散式資料庫HBase，資料倉儲Hive，Flume分散式日誌框架，Kafka分散式佇列系統課程，Sqoop資料遷移，pig開發，Storm實時資料處理。學會以上基本可以入門大資料工程師，如果想有一個更好的起點，建議前期學習scala程式設計，Spark，R語言等基本現在企業裡面更專業的技能。

資料分析：一方面是搭建資料分析框架，比如確定分析思路需要營銷、管理等理論知識；還有針對資料分析結論提出有指導意義的分析建議。

產品調整：經過分析後的資料交由老闆和PM經過協商後進行產品的更新，然後交由程式設計師進行修改（快消類進行商品的上下架調整）。

接著再來了解大資料需要掌握那些技術

Hadoop核心

(1) 分散式儲存基石：HDFS

HDFS簡介 入門演示 構成及工作原理解析：資料塊，NameNode, DataNode、資料寫入與讀取過程、資料複製、HA方案、檔案型別、 HDFS常用設定 Java API程式碼演示

(2) 分散式計算基礎：MapReduce

MapReduce簡介、程式設計模型、Java API 介紹、程式設計案例介紹、MapReduce調優

(3) Hadoop叢集資源管家：YARN

YARN基本架構 資源排程過程 排程演算法 YARN上的計算框架

離線計算

(1) 離線日誌收集利器：Flume

Flume簡介 核心元件介紹 Flume例項：日誌收集、適宜場景、常見問題。

(2) 離線批處理必備工具：Hive

Hive在大資料平臺裡的定位、總體架構、使用場景之Access Log分析 Hive DDL&DML介紹 檢視 函式（內建，視窗，自定義函式） 表的分割槽、分桶和抽樣 優化。

(3) 速度更快的Hive：Impala

Impala在大資料架構中的角色 架構 資料處理過程 一般使用步驟：建立表，分割槽表，查詢等 常用查詢演示：統計，連線等、Impala與Hive的比較 常用配置與最佳使用建議（查錯，調優等）。

(4) 更快更強更好用的MR：Spark

Scala&Spark簡介 基礎 Spark程式設計（計算模型RDD、運算元Transformation和Actions的使用、使用Spark製作倒排索引）Spark SQL和DataFrame 例項：使用Spark SQL統計頁面PV和UV。

實時計算

(1) 流資料整合神器：Kafka

Kafka簡介 構成及工作原理解析 4組核心API 生態圈 程式碼演示：生產並消費行為日誌。

(2) 實時計算引擎：Spark Streaming

Spark Streaming簡介 工作原理解剖 編寫Streaming程式的一般過程 如何部署Streaming程式？ 如何監控Streaming程式？ 效能調優。

(3) 海量資料高速存取資料庫：HBase

HBase簡介 架構及基本元件 HBase Table設計 HBase基本操作 訪問HBase的幾種方式。

大資料ETL

(1) ETL神器：Sqoop，Kettle

資料同步ETL介紹 Kettle常用元件介紹 、抽取Mysql資料到Hive實戰 Sqoop介紹、抽取Hive資料到Mysql實戰。

(2) 任務排程雙星：Oozie，Azkaban

ETL與計算任務的統一管理和排程簡介 Crontab排程的方案 自研排程系統的方案 開源系統Oozie和Azkaban 方案總結與經驗分享。

大資料應用與資料探勘

(1) 大資料全文檢索引擎：Elasticsearch

全文檢索基礎知識，ES安裝及初級介紹，ES深入理解，使用經驗介紹。

(2) 資料倉儲搭建

為什麼要構建大資料平臺大資料平臺的的經典架構深入剖析“五橫一縱”的架構實踐 知名網際網路公司大資料平臺架構簡介。

(3) 資料視覺化

什麼是資料視覺化，資料視覺化常用工具與必備技能介，Tableau和ECharts實操講解 ECharts介紹，知名互金公司視覺化經驗介紹。

(4) 演算法介紹

介紹資料探勘，機器學習，深度學習的區別，R語言和python的介紹，邏輯迴歸演算法的介紹與應用，以及主要的推薦演算法介紹。

最後瞭解大資料主要的三大就業方向和十大職位

就業方向：大資料系統研發類人才、大資料應用開發類人才和大資料分析類人才。

職位：1、ETL研發；2、Hadoop開發；3、視覺化（前端展現）工具開發；4、資訊架構開發；5、資料倉儲研究；6、OLAP開發；7、資料科學研究；8、資料預測（資料探勘）分析；9、企業資料管理；10、資料安全研究。 【大資料開發學習資料領取方式】：加入大資料技術學習交流群522189307，點選加入群聊，私信管理員即可免費領取

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69903766/viewspace-2645546/，如需轉載，請註明出處，否則將追究法律責任。