10個最熱門的大資料技術，附上大資料學習路線

大資料已經融入到各行各業，哪些大資料技術是最受歡迎？哪些大資料技術潛力巨大？請聽大講臺老師對10個最熱門的大資料技術的介紹。

（一）預測分析

預測分析是一種統計或資料探勘解決方案，包含可在結構化和非結構化資料中使用以確定未來結果的演算法和技術。可為預測、最佳化、預報和模擬等許多其他用途而部署。隨著現在硬體和軟體解決方案的成熟，許多公司利用大資料技術來收集海量資料、訓練模型、最佳化模型，併發布預測模型來提高業務水平或者避免風險;當前最流行的預測分析工具當屬IBM公司的SPSS,SPSS這個軟體大家都已經很熟悉了，它集資料錄入、整理、分析功能於一身。使用者可以根據實際需要和計算機的功能選擇模組，SPSS的分析結果清晰、直觀、易學易用，而且可以直接讀取EXCEL及DBF資料檔案，現已推廣到多種各種作業系統的計算機上。

（二）NoSQL資料庫

非關係型資料庫包括Key-value型(Redis)資料庫、文件型(MonogoDB)資料庫、圖型(Neo4j)資料庫;雖然NoSQL流行語火起來才短短一年的時間，但是不可否認，現在已經開始了第二代運動。儘管早期的堆疊程式碼只能算是一種實驗，然而現在的系統已經更加的成熟、穩定。

（三）搜尋和認知商業

當今時代大資料與分析已經發展到一個新的高度，那就是認知時代，認知時代不再是簡單的資料分析與展示，它更多的是上升到一個利用資料來支撐人機互動的一種模式，例如前段時間的圍棋大戰，就是一個很好的應用、現已經逐步推廣到機器人的應用上面，也就是下一個經濟爆發點——人工智慧，網際網路人都比較熟悉國內的BAT，以及國外的apple、google、facebook、IBM、微軟、亞馬遜等等;可以大致看一下他們的商業佈局，未來全是往人工智慧方向發展，當然目前在認知商業這一塊IBM當屬領頭羊，特別是當前主推的watson這個產品，以及取得了非常棒的效果。

（四）流式分析

目前流式計算是業界研究的一個熱點，最近Twitter、LinkedIn等公司相繼開源了流式計算系統Storm、Kafka等，加上Yahoo!之前開源的S4，流式計算研究在網際網路領域持續升溫，流式分析可以對多個高吞吐量的資料來源進行實時的清洗、聚合和分析;對存在於社交網站、部落格、電子郵件、影片、新聞、電話記錄、傳輸資料、電子感應器之中的數字格式的資訊流進行快速處理並反饋的需求。目前大資料流分析平臺有很多、如開源的spark，以及ibm的streams。

（五）記憶體資料結構

透過動態隨機記憶體訪問(DRAM)、Flash和SSD等分散式儲存系統提供海量資料的低延時訪問和處理;

（六）分散式儲存系統

分散式儲存是指儲存節點大於一個、資料儲存多副本以及高效能的計算網路;利用多臺儲存伺服器分擔儲存負荷，利用位置伺服器定位儲存資訊，它不但提高了系統的可靠性、可用性和存取效率，還易於擴充套件。當前開源的HDFS還是非常不錯，有需要的朋友可以深入瞭解一下。

（七）資料視覺化

資料視覺化技術是指對各型別資料來源(包括hadoop上的海量資料以及實時和接近實時的分散式資料)進行顯示;當前國內外資料分析展示的產品很多，如果是企業單位以及政府單位建議使用cognos，安全、穩定、功能強大、支援大資料、非常不錯的選擇。

（八）資料整合

透過亞馬遜彈性MR(EMR)、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop和MongoDB等軟體進行業務資料整合;

（九）資料預處理

資料整合是指對資料來源進行清洗、裁剪，並共享多樣化資料來加快資料分析;

（十）資料校驗

對分散式儲存系統和資料庫上的海量、高頻率資料集進行資料校驗，去除非法資料，補全缺失。資料整合、處理、校驗在目前已經統稱為ETL，ETL過程可以把結構化資料以及非結構化資料進行清洗、抽取、轉換成你需要的資料、同時還可以保障資料的安全性以及完整性、關於ETL的產品推薦使用datastage就行、對於任何資料來源都可以完美處理。

透過上文10個熱門大資料技術的瞭解，也能推測出大資料的發展趨勢。想學習大資料的朋友，也可以用來參考。

學習大資料加群：8688**47735 共同討論學習影片資源分享

大資料的基礎入門路線圖

階段一、 Java語言基礎

Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程控制、Java字串、Java陣列與類和物件、數字處理類與核心技術、I/O與反射、多執行緒、Swing程式與集合類

階段二、 HTML、CSS與Java

PC端網站佈局、HTML5+CSS3基礎、WebApp頁面佈局、原生Java互動功能開發、Ajax非同步互動、jQuery應用

階段三、 JavaWeb和資料庫

資料庫、JavaWeb開發核心、JavaWeb開發內幕

階段四、 LinuxHadoopt體系

Linux體系、Hadoop離線計算大綱、分散式資料庫Hbase、資料倉儲Hive、資料遷移工具Sqoop、Flume分散式日誌框架

階段五、 實戰(一線公司真實專案)

資料獲取、資料處理、資料分析、資料展現、資料應用

階段六、 Spark生態體系

Python程式語言、Scala程式語言、Spark大資料處理、Spark—Streaming大資料處理、Spark—Mlib機器學習、Spark—GraphX 圖計算、實戰一：基於Spark的推薦系統(某一線公司真實專案)、實戰二：新浪網()

階段七、 Storm生態體系

storm技術架構體系、Storm原理與基礎、訊息佇列kafka、Redis工具、zookeeper詳解、實戰一：日誌告警系統專案、實戰二：猜你喜歡推薦系統實戰

階段八、 大資料分析 —AI(人工智慧)

Data Analyze工作環境準備資料分析基礎、資料視覺化、Python機器學習

1、Python機器學習2、影像識別神經網路、自然語言處理社交網路處理、實戰專案：戶外裝置識別分析

大資料真的是一門神奇的學科，似乎學好大資料就能踏遍網際網路的大部分領域。就像當下很火的區塊鏈、人工智慧等等都是跟大資料技術息息相關。每一個想學習大資料的小夥伴，都是未來不可多得的人才，快用技術征服世界吧。

大資料學習QQ群： 8688+47735

一、Hadoop入門，瞭解什麼是Hadoop

1、Hadoop產生背景

2、Hadoop在大資料、雲端計算中的位置和關係

3、國內外Hadoop應用案例介紹

4、國內Hadoop的就業情況分析及課程大綱介紹

5、分散式系統概述

6、Hadoop生態圈以及各組成部分的簡介

7、Hadoop核心MapReduce例子說明

二、分散式檔案系統HDFS，是資料庫管理員的基礎課程

1、分散式檔案系統HDFS簡介

2、HDFS的系統組成介紹

3、HDFS的組成部分詳解

4、副本存放策略及路由規則

5、NameNode Federation

6、命令列介面

7、Java介面

8、客戶端與HDFS的資料流講解

9、HDFS的可用性（HA）

三、初級MapReduce，成為Hadoop開發人員的基礎課程

1、如何理解map、reduce計算模型

2、剖析偽分散式下MapReduce作業的執行過程

3、Yarn模型

4、序列化

5、MapReduce的型別與格式

6、MapReduce開發環境搭建

7、MapReduce應用開發

8、更多示例講解，熟悉MapReduce演算法原理

四、高階MapReduce，高階Hadoop開發人員的關鍵課程

1、使用壓縮分隔減少輸入規模

2、利用Combiner減少中間資料

3、編寫Partitioner最佳化負載均衡

4、如何自定義排序規則

5、如何自定義分組規則

6、MapReduce最佳化

7、程式設計實戰

五、Hadoop叢集與管理，是資料庫管理員的高階課程

1、Hadoop叢集的搭建

2、Hadoop叢集的監控

3、Hadoop叢集的管理

4、叢集下執行MapReduce程式

六、ZooKeeper基礎知識，構建分散式系統的基礎框架

1、ZooKeeper體現結構

2、ZooKeeper叢集的安裝

3、操作ZooKeeper

七、HBase基礎知識，面向列的實時分散式資料庫

1、HBase定義

2、HBase與RDBMS的對比

3、資料模型

4、系統架構

5、HBase上的MapReduce

6、表的設計

八、HBase叢集及其管理

1、叢集的搭建過程講解

2、叢集的監控

3、叢集的管理

九、HBase客戶端

1、HBase Shell以及演示

2、Java客戶端以及程式碼演示

十、Pig基礎知識，進行Hadoop計算的另一種框架

1、Pig概述

2、安裝Pig

3、使用Pig完成手機流量統計業務

十一、Hive，使用SQL進行計算的Hadoop框架

1、資料倉儲基礎知識

2、Hive定義

3、Hive體系結構簡介

4、Hive叢集

5、客戶端簡介

6、HiveQL定義

7、HiveQL與SQL的比較

8、資料型別

9、表與表分割槽概念

10、表的操作與CLI客戶端演示

11、資料匯入與CLI客戶端演示

12、查詢資料與CLI客戶端演示

13、資料的連線與CLI客戶端演示

14、使用者自定義函式（UDF）的開發與演示

十二、Sqoop，Hadoop與rdbms進行資料轉換的框架

1、配置Sqoop

2、使用Sqoop把資料從MySQL匯入到HDFS中

3、使用Sqoop把資料從HDFS匯出到MySQL中

十三、Storm

1、Storm基礎知識：包括Storm的基本概念和Storm應用

場景，體系結構與基本原理，Storm和Hadoop的對比

2、Storm叢集搭建：詳細講述Storm叢集的安裝和安裝時常見問題

3、Storm元件介紹: spout、bolt、stream groupings等

4、Storm訊息可靠性：訊息失敗的重發

5、Hadoop 2.0和Storm的整合：Storm on YARN

6、Storm程式設計實戰