hadoop,spark,大資料,資料分析,實戰內部培訓視訊資料價值Ｗ＋

學堂

第一階段：Linux課程

講解linux基礎操作，講的是在命令列下進行檔案系統的操作，這是hadoop學習的基礎，後面的所有視訊都是基於linux操作的。鑑於很多學員沒有linux基礎，特增加該內容，保證零linux基礎入門。

如果你從沒有使用過linux，別擔心，本節內容可以讓你入門。

第二階段：hadoop2課程

搭建偽分佈實驗環境： 本節是最基本的課程，屬於入門級別，主要講述在linux單機上面安裝hadoop的偽分佈模式，在linux叢集上面安裝hadoop叢集。對於不熟悉linux的同學，課程中會簡單的講解常用的linux命令。這兩種是必須要掌握的。通過現在的教學發現，很多同學並不能正確的配置環境。

介紹HDFS體系結構及shell、java操作方式： 本節是對hadoop核心之一——hdfs的講解。hdfs是所有hadoop操作的基礎，屬於基本的內容。對本節內容的理解直接影響以後所有課程的學習。在本節學習中，我們會講述hdfs的體系結構，以及使用shell、java不同方式對hdfs的操作。在工作中，這兩種方式都非常常用。學會了本節內容，就可以自己開發網盤應用了。在本節學習中，我們不僅對理論和操作進行講解，也會講解hdfs的原始碼，方便部分學員以後對hadoop原始碼進行修改。最後，還要講解hadoop的RPC機制，這是hadoop執行的基礎，通過該節學習，我們就可以明白hadoop是怎麼明白的了，不必糊塗了，本節內容特別重要。

介紹MapReduce體系結構及各種演算法(1)： 本節開始對hadoop核心之一——mapreduce的講解。mapreduce是hadoop的核心，是以後各種框架執行的基礎，這是必須掌握的。在本次講解中，掌握mapreduce執行的詳細過程，以單詞計數為例，講解mapreduce的詳細執行過程。還講解hadoop的序列化機制和資料型別，並使用自定義型別實現電信日誌資訊的統計。

介紹MapReduce體系結構及各種演算法(2)： 本節繼續講解mapreduce，會把舊api的用法、計數器、combiner、partitioner、排序演算法、分組演算法等全部講解完畢。通過這兩次課程學習，學員可以把整個mapreduce的執行細節搞清楚，把各個可擴充套件點都搞明白。本節內容在目前市面可見的圖書、視訊中還沒有發現如此全面的哪。

第三階段：zookeeper課程

本節內容與hadoop關係不大，只是在hbase叢集安裝時才用到。但是，zookeeper在分散式專案中應用較多。

第四階段：HBase課程

hbase是個好東西，在以後工作中會經常遇到，特別是電信、銀行、保險等行業。本節講解hbase的偽分佈和叢集的安裝，講解基本理論和各種操作。我們通過對hbase原理的講解，讓大家明白為什麼hbase會這麼適合大資料的實時查詢。最後講解hbase如何設計表結構，這是hbase優化的重點。

第五階段：CM+CDH叢集管理課程

由cloudera公司開發的叢集web管理工具cloudera manager(簡稱CM)和CDH目前在企業中使用的比重很大，掌握CM+CDH叢集管理和使用 不僅簡化了叢集安裝、配置、調優等工作，而且對任務監控、叢集預警、快速定位問題都有很大的幫助。

第六階段：Hive課程

在《hadoop1零基礎拿高薪》課程中我們涉及了Hive框架內容，不過內容偏少，作為入門講解可以，但是在工作中還會遇到很多課程中沒有的。本課程的目的就是把Hive框架的邊邊角角都涉獵到，重點講解Hive的資料庫管理、資料表管理、表連線、查詢優化、如何設計Hive表結構。這都是工作中最急需的內容，是工作中的重點。

第七階段：Sqoop課程

sqoop適用於在關聯式資料庫與hdfs之間進行雙向資料轉換的，在企業中，非常常用。

第八階段：Flume課程

Flume是cloudera公佈的分散式日誌收集系統，是用來把各個的伺服器中資料收集，統一提交到hdfs或者其他目的地，是hadoop儲存資料的來源，企業中非常流行。

第九階段：Kafka課程

Kafka是訊息系統，類似於ActiveMQ、RabbitMQ,但是效率更高。

第十階段：Storm課程

Storm是專門用於解決實時計算的，與hadoop框架搭配使用。本課程講解Storm的基礎結構、理論體系，如何部署Storm叢集，如何進行本地開發和分散式開發。通過本課程，大家可以進入到Storm殿堂，看各種Storm技術文章不再難，進行Storm開發也不再畏懼。

第十一階段：Redis課程

redis是一款高效能的基於記憶體的鍵值資料庫，在網際網路公司中應用很廣泛。

第十二階段：Scala課程

Scala是學習spark的必備基礎語言，必須要掌握的。

第十三階段：Spark課程

Spark是一款高效能的分散式計算框架，傳言比MapReduce計算快100倍，本課程為你揭祕。

第十四階段：Oozie課程

oozie是Hadoop生態系統中比較重要的框架，在系統中扮演的角色是工作流引擎伺服器，用於執行Hadoop Map/Reduce任務工作流（包括MR、Hive、Pig、Sqoop等），企業中多由於整個專案流程任務排程。

第十五階段：Impala課程

Impala是Cloudera公司參照 Google Dreme系統進行設計並主導開發的新型查詢系統，它提供複雜SQL語義，能查詢儲存在Hadoop的HDFS和HBase中的PB級大資料。

第十六階段：Kettle課程

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上執行，資料抽取高效穩定。ETL是指資料的抽取（extract）、轉換（transform）、載入（load）至目的端。

第十七階段：Ganglia課程

Ganglia是一個對於數以萬計的節點的各個指標的圖表監控框架，提供完整的一套圖形監控介面，支援C、C++、python擴充套件自定義指標和使用者檢視。

第十八階段：Tachyon課程

Tachyon是一個開源分散式記憶體儲存系統，擁有高效能、高容錯等優點。並具有類Java的檔案API、外掛式的底層檔案系統、相容Hadoop MapReduce和 Apache Spark 等特徵。Tachyon能夠為叢集框架（如Spark、MapReduce等）提供記憶體級速度的跨叢集檔案共享服務，官方號稱最高比HDFS吞吐量高300倍。

第十九階段：Solr課程

第二十階段：elasticsearch課程

第二十一階段：多執行緒課程

第二十二階段：Java虛擬機器優化課程

第二十三階段：Python課程

第二十四階段：Mahout課程

Mahout是資料探勘和機器學習領域的利器，本課程是帶領大家進入到這個領域中。課程內容包括Mahout體系結構介紹、Mahout如何在推薦、分類、聚類領域中使用。

第二十五階段：實戰專案

xx論壇日誌分析（錄播）： 該專案的資料來自於黑馬程式設計師(http://edu.csdn.net/)論壇的日誌，該專案是為本課程量身定做的，非常適合我們hadoop課程學習。有的同學覺得應該介紹更多專案，其實做過幾個專案後，就會發現專案的思路是相同的，只是業務不同而已。大家寫過這個專案後，就對hadoop的各個框架在專案中是如何使用的，有個比較清晰的認識，對hadoop與javaEE結合有個比較清晰的認識了。 
注：很多學員進入公司後發現，公司中大部分hadoop日誌分析專案，都是該專案的開發過程，千真萬確！

網際網路電商爬蟲專案： 該專案使用分散式爬蟲爬取網際網路各大電商網站商品資料，前臺實現對資料的快速精準查詢和商品對比。

高頻資料實時流處理專案： 該專案實現對業務資料系統的高頻日誌資料進行實時收集和業務處理。

國內排名前50名的某網站網際網路日誌分析專案： 通過大資料工具將網際網路中的日誌的採集、清洗、分析統計出常見的網際網路指標；開發各種維度UV的分佈報表、各個指標每日、月指標報表，用於對產品做出正確的決策，資料的正確性校對問題，臨時性的圖表的開發。

移動業務感知專案： 移動業務感知系統主要是利用hadoop叢集強大的計算能力對移動的大批量離線話單資料進行分析，統計移動使用者使用移動業務（流量套餐、話費套餐、鈴聲套餐等）情況，達到感知使用者行為和使用習慣，確定移動業務推廣走向的一套系統。

第一階段linux+搜尋+hadoop體系

第二階段機器學習

第三階段storm流式計算

第四階段spark記憶體計算

第五階段雲端計算平臺