大資料學習方法，學大資料需要的基礎和路線

大資料基礎學習

大資料基礎入門

為什麼要學大資料

1、目的：要份很好工作（錢）

2、對比：Java開發和大資料開發

什麼是大資料？

舉例：

1、商品推薦：問題：

（1）大量的訂單如何儲存？

（2）大量的訂單如何計算？

2、天氣預報：問題：

（1）大量的天氣資料如何儲存？

（2）大量的天氣資料如何計算？

如果你想要學好大資料最好加入一個好的學習環境，可以來這個Q群251956502 這樣大家學習的話就比較方便，還能夠共同交流和分享資料

什麼是大資料，本質？

（1）資料的儲存：分散式檔案系統（分散式儲存）

（2）資料的計算：分散式計算

Java和大資料是什麼關係？

1、Hadoop：基於Java語言開發

2、Spark：基於Scala語言，Scala基於Java語言

學大資料需要的基礎和路線

1、學大資料需要的基礎：

Java基礎（JavaSE）---> 類、繼承、I/O、反射、泛型*****

Linux基礎（Linux的操作） ---> 建立檔案、目錄、vi編輯器***

2、學習路線：

（1）Java基礎和Linux基礎

（2）Hadoop的學習：體系結構、原理、程式設計

（*）第一階段：HDFS、MapReduce、HBase（NoSQL資料庫）

（*）第二階段：資料分析引擎 ---> Hive、Pig

資料採集引擎 ---> Sqoop、Flume

（*）第三階段：HUE：Web管理工具

ZooKeeper：實現Hadoop的HA

Oozie： 工作流引擎

（3）Spark的學習

（*）第一個階段：Scala程式語言

（*）第二個階段：Spark Core-----> 基於記憶體，資料的計算

（*）第三個階段：Spark SQL -----> 類似Oracle中的SQL語句

（*）第四個階段：Spark Streaming--->

進行實時計算（流式計算）比如：自來水廠

（4）Apache Storm：類似Spark Streaming ---> 進行實時計算 （流式計算）：比如：自來水廠

（*）NoSQL：Redis基於記憶體的資料庫