入門大資料開發行業！必備的十大基礎

現在由於人工智慧的大熱，這方面的人才稀缺，薪資水平不用說，行業中的NO.1，所以各路人馬紛紛集結網際網路行業，有轉行的，有轉崗的。對於初學者在學習這方面肯定有許多疑問，是什麼疑問呢，我在這裡一 一給你解答。

一、首先要搞清楚一個概念，什麼是大資料。

大資料又稱巨量資料，就是資料量大、來源廣、種類繁多(日誌、視訊、音訊)，大到PB級別，現階段的框架就是為了解決PB級別的資料。

專業的來講：大資料(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的資訊資產。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》中大資料指不用隨機分析法(抽樣調查)這樣的捷徑，而採用所有資料進行分析處理。大資料的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值密度)、Veracity(真實性)。

二、學習大資料需要什麼語言基礎?

首先，學習大資料是需要有java，python和R語言的基礎。

1)Java學習到什麼樣的程度才可以學習大資料呢?java需要學會javaSE即可。javaweb，javaee對於大資料用不到。學會了javase就可以看懂hadoop框架。

2)python是最容易學習的，難易程度：python java Scala 。python不是比java更直觀好理解麼，因為會了Python 還是要學習java的，你學會了java，再來學習python會很簡單的，一週的時間就可以學會python。

3)R語言也可以學習，但是不推薦，因為java用的人最多，大資料的第一個框架Hadoop，底層全是Java寫的。就算學會了R還是看不懂handoop。

java在大資料中的作用是構成大資料的語言，大資料的第一個框架Hadoop，底層全是Java寫的 ，所以推薦首選學習java。再給你們舉例說明下它們的分工和作用，java注重業務，大資料注重資料，前端是臉(頁面顯示)，java是胳膊(業務)，大資料是直男大腦，人工智慧，深度學習是有情商的大腦。

本人對於大資料學習建立了一個小小的學習圈子，為各位提供了一個平臺，大家一起來討論學習大資料。歡迎各位到來大資料學習群：868847735 一起討論視訊分享學習。大資料是未來的發展方向，正在挑戰我們的分析能力及對世界的認知方式，因此，我們與時俱進，迎接變化，並不斷的成長，掌握大資料核心技術，才是掌握真正的價值所在。

例：

你：我渴了

直男大腦：呵呵，多喝水!

情商大腦：我這裡有橙汁，礦泉水，綠茶，你喜歡哪個?不過看你平時喜歡喝飲料，要不要來一杯橙汁。

三、職業發展方向

學會了大資料，不需要從java做起，可以直接做大資料開發工程師等積累了幾年的經驗， 就可以做演算法工程師了。看看學會了大資料可以從事哪些崗位：

大資料開發工程師

資料分析師

hadoop開發工程師

spark開發工程師

資料倉儲開發工程師

資料清洗工程師(ETL)

大資料架構師

演算法工程

四、優勢

大資料受國家大力支援大量的資源都投資在這方面，大資料中心在貴州落坐，人工智慧和雲端計算都基於大資料，需要大批大資料人才。

五、大資料人才薪資待遇

一般的一線城市大資料相關崗位平均月薪在12-15K 北京平均17K，大資料演算法工程師，年薪在30萬—50萬左右。

六、學習大資料有學歷/專業 有要求嗎

高中也找到工作，但是大專以上學歷更好，雖然是本科學歷，但大學四年中也沒有學習到實際的操作技能，學習到的東西在工作中用不到，只是在理解某些東西容易些。

七、大資料抓取資料手段有哪些?

爬蟲、Flume

八、學大資料用會java的那些框架嗎

SSHSSMSpringBootSpringCloud 這些框架在大資料中不會用到，對於學習技術的人來說，當然懂得這些技術會更好。

九、學習路線

javaSE + linux + Hadoop生態圈 + Strom + Spark + 演算法

正常來講學習大資料之前都要做到以下幾點：

1.學習基礎的程式語言(java,python)

2.掌握入門程式設計基礎(linux操作，資料庫操作、git操作)

3.學習大資料裡面的各種框架(hadoop、hive、hbase、spark)

這是正常學習大資料必須要做到的三個步驟，如果有了java基礎再去學習基本上已經成功了一半，起碼不用為了基礎語言的學習而惱火了。真正的大資料的學習不能僅僅停留在理論的層面上，比如現在經常用到的spark框架目前支援兩種語言的開發java或者Scala，現在python語言也能支援了。大資料的方向的切入是全方位的，基礎語言的學習只是很小的一個方面，程式設計落實到最後到程式設計思想，有了指導思想學習起來就能方便很多。