大資料架構師從入門到精通 學習必看寶典

　　目前最火的大資料，很多人想往大資料方向發展，想問該學哪些技術，學習路線是什麼樣的，覺得大資料很火，就業很好，薪資很高。如果自己很迷茫，為了這些原因想往大資料方向發展，也可以，那麼我就想問一下，你的專業是什麼，對於計算機/軟體，你的興趣是什麼?是計算機專業，對作業系統、硬體、網路、伺服器感興趣?是軟體專業，對軟體開發、程式設計、寫程式碼感興趣?還是數學、統計學專業，對資料和數字特別感興趣。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙：522189307 ， 裙 裡都是學大資料開發的，如果你正在學習大資料 ，小編歡迎你加入，大家都是軟體開發黨，不定期分享乾貨（只有大資料開發相關的），包括我自己整理的一份最新的大資料進階資料和高階開發教程，歡迎進階中和進想深入大資料的小夥伴。上述資料加群可以領取

　　

　　其實這就是想告訴你的大資料的三個發展方向，平臺搭建/優化/運維/監控、大資料開發/ 設計/ 架構、資料分析/挖掘。請不要問我哪個容易，哪個前景好，哪個錢多。

　　先扯一下大資料的4V特徵：

　　資料量大，TB->PB

　　資料型別繁多，結構化、非結構化文字、日誌、視訊、圖片、地理位置等;

　　商業價值高，但是這種價值需要在海量資料之上，通過資料分析與機器學習更快速的挖掘出來;

　　處理時效性高，海量資料的處理需求不再侷限在離線計算當中。

　　

　　現如今，正式為了應對大資料的這幾個特點，開源的大資料框架越來越多，越來越強，先列舉一些常見的：

　　檔案儲存：Hadoop HDFS、Tachyon、KFS

　　離線計算：Hadoop MapReduce、Spark

　　流式、實時計算：Storm、Spark Streaming、S4、Heron

　　K-V、NOSQL資料庫：HBase、Redis、MongoDB

　　資源管理：YARN、Mesos

　　日誌收集：Flume、Scribe、Logstash、Kibana

　　訊息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ

　　查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

　　分散式協調服務：Zookeeper

　　叢集管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager

　　資料探勘、機器學習：Mahout、Spark MLLib

　　資料同步：Sqoop

　　任務排程：Oozie

　

　　初識Hadoop

　　1.1 學會百度與Google

　　不論遇到什麼問題，先試試搜尋並自己解決。Google首選，翻不過去的，就用百度吧。

　　1.2 參考資料首選官方文件

　　特別是對於入門來說，官方文件永遠是首選文件。相信搞這塊的大多是文化人，英文湊合就行，實在看不下去的，請參考第一步。

　　1.3 先讓Hadoop跑起來

　　Hadoop可以算是大資料儲存和計算的開山鼻祖，現在大多開源的大資料框架都依賴Hadoop或者與它能很好的相容。

　　關於Hadoop,你至少需要搞清楚以下是什麼：

　　Hadoop 1.0、Hadoop 2.0

　　MapReduce、HDFS

　　NameNode、DataNode

　　JobTracker、TaskTracker

　　Yarn、ResourceManager、NodeManager

　　自己搭建Hadoop，請使用第一步和第二步，能讓它跑起來就行。建議先使用安裝包命令列安裝，不要使用管理工具安裝。另外：Hadoop1.0知道它就行了，現在都用Hadoop 2.0.

　　1.4 試試使用Hadoop

　　HDFS目錄操作命令;上傳、下載檔案命令;提交執行MapReduce示例程式;開啟Hadoop WEB介面，檢視Job執行狀態，檢視Job執行日誌。知道Hadoop的系統日誌在哪裡。

　　1.5 你該瞭解它們的原理了

　　MapReduce：如何分而治之;HDFS：資料到底在哪裡，什麼是副本;

　　Yarn到底是什麼，它能幹什麼;NameNode到底在幹些什麼;Resource Manager到底在幹些什麼;

　　1.6 自己寫一個MapReduce程式

　　請仿照WordCount例子，自己寫一個(照抄也行)WordCount程式，

　　打包並提交到Hadoop執行。你不會Java?Shell、Python都可以，有個東西叫Hadoop Streaming。如果你認真完成了以上幾步，恭喜你，你的一隻腳已經進來了。