學習大資料必須瞭解的大資料開發課程大綱

大資料開發最核心的課程就是Hadoop框架，幾乎可以說Hadoop就是大資料開發。這個框架就類似於Java應用開發的SSH/SSM框架，都是Apache基金會或者其他Java開源社群團體的能人牛人開發的貢獻給大家使用的一種開源Java框架。

Java語言是王道就是這個道理，Java的核心程式碼是開源的，是經過全球能人牛人共同學習共同研發共同檢驗的，所以說Java是最經得住檢驗的語言，而且任何人都可以學習Java核心技術並且使用核心技術開發出像android一樣的系統和Hadoop一樣的框架。如果把程式設計的世界比作一棵樹，那麼Java是根，SSH和Hadoop這樣的框架都是它開得枝散得葉。

在這裡還是要推薦下我自己建的大資料學習交流群:529867072，群裡都是學大資料開發的，如果你正在學大資料 ，小編歡迎你加入,大家都是軟體開發黨，不定期分享乾貨（只有大資料軟體開發相關的），包括我自己整理的一份最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴加入。

由於大資料開發工程師是目前IT培訓界最熱門的專業，大資料技術人才是引領智慧革命的弄潮兒，是智慧時代最直接的受益者，這麼重要的專業科多一定要給大家講解的詳細透徹，以Hadoop生態圈為主，介紹目前大資料應用級開發工程師在工作當中所用到的全部技術，建議大家在學習資料開發工程師專業之前，要有一定的Java基本語法和框架的學習經驗。

大資料的零基礎課程包含java+大資料開發兩個部分，提高課程針對有java開發經驗的朋友只包含大資料部分。因為根據前面的介紹你應該知道了，大資料的學習是需要一定的java基礎的。

開源的Hadoop大資料開發平臺

hadoop是一個能夠對大量資料進行分散式處理的軟體框架，hadoop以一種可靠、高效、可伸縮的方式進行資料處理，使用者之所以可以輕鬆的在hadoop上開發和執行處理海量資料的應用資料，是因為hadoop具有高可靠性、高擴充套件性、高效性、高容錯性等優點。

hadoop大資料生態系統：

分散式檔案系統-HDFS

提起hadoop檔案系統，首先想到的是HDFS（Hadoop Distributed File System），HDFS是hadoop主要的檔案系統，是Hadoop儲存資料的平臺，建立在網路上的分散式儲存系統。hadoop還整合了其他檔案系統，hadoop的檔案系統是一個抽象的概念，HDFS只是其中的一種實現。

分散式計算框架-MapReduce

MapReduce是一種程式設計模型，是Hadoop處理資料的平臺。用於大規模資料集（大於1TB）的並行運算。概念"Map（對映）“和"Reduce（歸約）”，和它們的主要思想，都是從函數語言程式設計語言裡借來的，還有從向量程式語言裡借來的特性。它極大地方便了程式設計人員在不會分散式並行程式設計的情況下，將自己的程式執行在分散式系統上。

分散式開源資料庫-Hbase

HBase – Hadoop Database,HBase是一個分散式的、面向列的開源資料庫。適合於非結構化資料儲存，保留資料多個時間段版本。Hbase極大的方便擴充套件了Hadoop對於資料的處理和應用。

大資料開發平臺模組生態圈

Hive

Hive是基於Hadoop的一個資料倉儲工具，處理結構化SQL查詢功能。可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行執行並提交到叢集上去執行。 其優點是學習成本低，可以透過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，不用使用Java程式設計，十分適合資料倉儲的統計分析。

學習Hive時，對於Hive QL中的DDL和DML就是必須要掌握的基礎；表的定義、資料匯出以及常用的查詢語句的掌握是完成大資料統計分析的基礎。學會針對Hive進行程式設計：使用Java API開操作Hive、開發Hive UDF函式。掌握好Hive部分高階的特效能大大提升Hive的執行效率。在最佳化過程中可以很好的藉助於執行計劃來進行分析，學習Hive時需要注意Hive效能最佳化是在生產中的最重要的環節，如何解決資料傾斜是關鍵；梳理清楚Hive後設資料各個表之間的關聯關係也能提升對Hive的把握能力。

Zookeeper協調Hadoop生態圈各個模組共同工作

從英文含義上來看Hadoop是小象，Hive是蜜蜂，pig是豬，Zookeeper是動物管理員。那麼很顯然Zookeeper的作用是分散式應用程式協調服務，為各個模組提供一致服務的。

資料匯入匯出框架Sqoop

Sqoop是一款開源的工具，英文含義是象夫，就是餵養大象的人，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql…)間進行資料的傳遞，可以將一個關係型資料庫中的資料導進到Hadoop的HDFS中，也可以將HDFS的資料導進到關係型資料庫中。

學習目標：

1.瞭解Sqoop是什麼、能做什麼及架構 ；

2.能夠進行Sqoop環境部署 ；

3.掌握Sqoop在生產中的使用 ；

4.能夠使用Sqoop進行ETL操作 。

Scala程式設計開發

Scala是一種函式式面嚮物件語言，類似於RUBY和GROOVY語言，它無縫結合了許多前所未有的特性形成一門多正規化語言，其中高層併發模型適用於大資料開發。而同時又執行於JAVA虛擬機器之上。

Spark

Spark是目前最流行的大資料處理框架，以簡單、易用、效能卓越著稱。豐富的程式介面和庫檔案也使得Spark成為業內資料快速處理和分散式機器學習的必備工具。

*擴充套件技能：

python開發基礎、資料分析與資料探勘

學習資料探勘工具Sklearn，熟悉資料探勘樸素貝葉斯演算法和資料探勘SVM分類演算法，並且最終使用Sklearn實現貝葉斯以及SVM演算法 。

Storm大資料分散式實時計算

Storm是分散式資料處理的框架，Storm可以方便地在一個計算機叢集中編寫與擴充套件複雜的實時計算，Storm用於實時處理，就好比 Hadoop 用於批處理。如果說MapReduce降低了並行批處理複雜性，Storm是降低了進行實時處理的複雜性。