怎麼還在糾結學Java還是python，未來大資料才是王道，附學習教程

如今的大資料不再是一個流行術語，在大資料行業火熱的發展下，大資料幾乎涉及到所有行業的發展。國家相繼的一系列政策更是加快了大資料產業的落地，預計未來幾年大資料產業將會蓬勃發展。

未來大資料產業發展的趨勢之一：與雲端計算、人工智慧等前沿創新技術深度融合。大資料、雲端計算、人工智慧等前沿技術的產生和發展均來自社會生產方式的進步和資訊科技產業的發展。而前沿技術的彼此融合將能實現超大規模計算、智慧化自動化和海量資料的分析，在短時間內完成複雜度較高、精密度較高的資訊處理。比如阿里巴巴的電子商務交易平臺能在雙 11 當天完成每秒鐘 17.5 萬筆訂單交易和每秒鐘 12 萬筆的訂單支付，主要歸功於融合了雲端計算和大資料的“飛天平臺”。百度大腦也結合了雲端計算、大資料、人工智慧等多種技術，配合實現強大效能。

如果你想要學好大資料最好加入一個好的學習環境，可以來這個Q群251956502 這樣大家學習的話就比較方便，還能夠共同交流和分享資料

未來大資料行業發展趨勢之二：針對製造業的大資料解決方案不斷升級，助力智慧製造。製造業產品的全生命週期從市場規劃、設計、製造、銷售、維護等過程都會產生大量的結構化和非結構化資料，形成了製造業大資料。除此以外，製造業大資料還具多源異構、多尺度、不確定、高噪聲等特徵。在《智慧製造發展規劃 2016-2020》中，明確提出 2025 年前，推進智慧製造實施“兩步走”戰略：“第一步，到 2020 年，智慧製造發展基礎和支撐能力明顯增強，傳統制造業重點領域基本實現數字化製造，有條件、有基礎的重點產業智慧轉型取得明顯進展;第二步，到 2025 年，智慧製造支撐體系基本建立，重點產業初步實現智慧轉型”。而在大資料細分市場中行業解決方案佔比最高達 34.3%，將在智慧製造產業發展中起到重要作用。

未來大資料產業前景一片大好，如果你也想加入大資料行業，

三、大資料能做什麼？

預測，決策，為機器學習和人工智慧提供支撐

預測從古代就做了，但是大資料做預測的核心是全樣本，多個維度的全樣本，交叉確認，人會說謊，在社交場合會隱藏部分內心，但這部分內心在日積月累的網際網路上總有絲竹馬跡會留下來，所以，越來越多的資料模型和資料會給出無限接近感知的結果。也就是可以讓計算機具有學習能力，機器學習就是設計一個一些讓計算機可以自動學習的演算法，人工智慧的核心是什麼？歸根到底是“計算機用大資料在代替人腦來思考；計算機可能比人腦思考的更全面和迅速

當然大資料的應用，不是一篇文章，簡單舉個例子就能說明白的，現在是資料為王的時代，我們現在才真正開始體會“資料最有說服力"的魅力所在，我認為，資料的作用待開發的地方太多了，資料的作用，未來不可限量，沒法預測，也不敢預測，只能期待。我想未來大量的資料真的是一件“可怕”的事情，人類還需要把這些資料應用在生產上，否則，會帶來災難性的結果。

四、大資料就業主要有哪些方向，待遇如何？

主要是開發，編寫大資料處理程式

比如mapreduce編寫，hbase資料庫操作，hive程式。。storm也是寫Java程式等等。。主要還是面向開發。spark可能會寫Scala程式

開發啊。。資料量大，併發高專案大型架構師、技術總監、jd，阿里等網際網路公司技術總監，肯定是得會這些大資料技術的，學生以後學完不論是在上市公司還是其他公司這些專案都是非常不錯的

開發類：

Storm開發工程師：

薪資：15K-25K

職位介紹：Storm開發工程師主要負責資料的實時處理、計算、儲存等開發業務。場景如：實時統計交易量，實時統計網站pv量等。將資料從源頭根據業務處理成需要的格式或者得到分析的結果，然後儲存或者展示出來。需要的技術有：Strom底層架構和原理，分散式儲存系統HDFS，分散式資料庫等。

機器學習工程師：

薪資：25K-40K

職位介紹：機器學習工程師主要負責根據業務需求，結合不同演算法的特點訓練模型，利用演算法實現程式自動學習，對未來業務場景做出預測或者分析，以輔助決策。需要的技術有：資料統計，機器學習演算法，大資料計算框架相關技術。

Spark開發工程師：

薪資：17K-35K

職位介紹：Spark開發工程師主要負責根據使用Spark技術開發實現相應的業務需求，其中包括離線計算，實時線上計算及SQL分析等。需要的技術有：Hadoop生態圈相關技術，SparkCore,SparkSQL，SparkStreaming等。

Hadoop開發工程師：

薪資：15K-35K

職位介紹：Hadoop開發工程師主要負責利用Hadoop生態圈相關技術根據業務透過程式設計實現對資料統計、計算及分析，將資料結果進行展示或儲存。需要的技術有：HDFS,Yarn,Hive,Hbase等。

演算法工程師：

薪資：25K-40K

職位介紹：演算法工程師主要負責演算法的研發，包括資訊分類，噪音識別，文字聚類，事件分析，機器翻譯等，同時還負責根據不同業務場景選擇、設計、最佳化演算法及演算法創新。需要的技術有：資料統計相關技術，機器學習各類演算法，大資料相關技術等。

大資料平臺架構師：

大資料架構師：

薪資：25K-40K

職位介紹：大資料架構師主要負責根據公司業務和未來規劃做到技術的選型，在業務基礎上有全域性的技術規劃，包括產品專案的需求分析，實現設計及實現系統整體架構，保障系統架構的合理性和可擴充套件性。需要的技術有：HDFS,Yarn,Hive,Hbase,MR,Spark,Storm等技術。

運維分析類：

大資料檢索工程師：

薪資：15K-30K

職位介紹：資料檢索工程師主要負責將分散式中儲存的資料按照使用者指定或者業務的需

求將資料提取出來。資料檢索需要的技術有HDFS分散式技術，Hive資料倉儲,Hbase分

布式資料庫等。

叢集運維工程師：

薪資：15K-25K

職位介紹：運維工程師負責叢集管理，最佳化系統架構及資源，提升部署效率等，最重要是保障服務的穩定性，高可用性，確保服務可以7*24小時不間斷給使用者提供服務。需要到的技術有：資料結構，演算法，shell程式設計技術，python程式設計技術，分散式儲存及計算相關技術等。

資料探勘工程師：

薪資：17K-35K

職位介紹：資料探勘工程師主要負責從現有的資料中提出資料的模式和模型，篩選出重要的資料資訊，以用於機器學習建模分析，主要是挖據出資料變數之間的關係，資料探勘是機器學習的基礎，與機器學習有一定聯絡。主要用到的技術有：分散式儲存、計算技術，Python語言，機器學習演算法，Spark技術等。

資料倉儲工程師：

薪資：15K-35K

職位介紹：資料倉儲工程師主要負責對資料進行抽取，轉換，載入儲存，以及資料的建模，資料服務最佳化，資料從數倉到前臺報表的展現。需要的技術有：Hadoop生態圈技術，Spark,Hive，Hbase等