什麼仇？什麼怨？我竟然愛上大資料了！

大資料時代已經到來，它儼然成為了企業的戰略資源，成為了提高競爭力的關鍵要素。為此，各個行業都開始用資料指導決策，從微信朋友圈、淘寶京東等電商APP的商品推薦 ，今日頭條、抖音快手等媒體的新聞和視訊推送，甚至到出行路線優化，這背後，都嚴重依賴於以資料為基礎的決策結果。

隨著大資料的爆發，中國IT業內環境也將面臨新一輪的洗牌，不僅是企業，更是從業人員轉型可遇而不可求的機遇。

看下圖，在未來技術方向的調查中，工程師最看好的是大資料、人工智慧、移動開發、雲端計算、這幾項不分伯仲，是技術人員的最看好的方向。中國大資料技術還處於萌芽狀態，因此，現在正是學習大資料技術的最佳時期。

這不，作為資深碼農的我，經常在我耳邊迴響的就是：

看人家XXX，轉行做了大資料之後薪資一下子翻了幾倍；

看人家XXX，轉行做了大資料之後度過了中年危機還做了管理層；

看人家XXX，轉行做了大資料之後竟然被妹子倒追......

emmm，內心總是崩騰一萬隻草泥馬....

所以，不甘示弱的我加入了大資料的陣營。

▌先來了解一下大資料是什麼鬼？

大資料本質也是資料，但是又有了新的特徵，包括資料來源廣、資料格式多樣化（結構化資料、非結構化資料、Excel檔案、文字檔案等）、資料量大（最少也是TB級別的、甚至可能是PB級別）、資料增長速度快等。

針對以上主要的4個特徵我們需要考慮以下問題：

• 資料來源廣，該如何採集彙總？對應出現了Sqoop，Cammel，Datax等工具。

• 資料採集之後，該如何儲存？對應出現了GFS，HDFS，TFS等分散式檔案儲存系統。

• 由於資料增長速度快，資料儲存就必須可以水平擴充套件。

• 資料儲存之後，該如何通過運算快速轉化成一致的格式，該如何快速運算出自己想要的結果？

• 對應的MapReduce這樣的分散式運算框架解決了這個問題；但是寫MapReduce需要Java程式碼量很大，所以出現了Hive，Pig等將SQL轉化成MapReduce的解析引擎；

• 普通的MapReduce處理資料只能一批一批地處理，時間延遲太長，為了實現每輸入一條資料就能得到結果，於是出現了Storm/JStorm這樣的低時延的流式計算框架；

• 但是如果同時需要批處理和流處理，按照如上就得搭兩個叢集，Hadoop叢集（包括HDFS+MapReduce+Yarn）和Storm叢集，不易於管理，所以出現了Spark這樣的一站式的計算框架，既可以進行批處理，又可以進行流處理（實質上是微批處理）。

• 而後Lambda架構，Kappa架構的出現，又提供了一種業務處理的通用架構。

• 為了提高工作效率，加快運速度，出現了一些輔助工具：

• Ozzie，azkaban：定時任務排程的工具。

• Hue，Zepplin：圖形化任務執行管理，結果檢視工具。

• Scala語言：編寫Spark程式的最佳語言，當然也可以選擇用Python。

• Python語言：編寫一些指令碼時會用到。

• Allluxio，Kylin等：通過對儲存的資料進行預處理，加快運算速度的工具。

以上大致就把整個大資料生態裡面用到的工具所解決的問題列舉了一遍，知道了他們為什麼而出現或者說出現是為了解決什麼問題，進行學習的時候就有的放矢了。

▌大資料工程師的技能要求有哪些？

附上大資料工程師技能圖：

必須掌握的技能11條：

• Java高階(虛擬機器、併發)

• Linux 基本操作

• Hadoop（HDFS+MapReduce+Yarn ）

• HBase（JavaAPI操作+Phoenix ）

• Hive(Hql基本操作和原理理解）

• Kafka

• Storm/JStorm

• Scala

• Python

• Spark（Core+sparksql+Spark streaming）

• 輔助小工具（Sqoop/Flume/Oozie/Hue等）

高階技能：

• 機器學習演算法以及mahout庫加MLlib

• R語言

• Lambda 架構

• Kappa架構

• Kylin

• Alluxio

▌大資料開發工程師待遇如何？

大資料開發工程師作為IT類職業中的“大熊貓”，大資料工程師的待遇是非常高的，在這個領域再次給我們展示了“物以稀為貴“的道理。在國內IT、通訊、行業招聘中，有10%的招聘崗位都是和大資料相關的，且比例還在不斷的上升。

在美國，大資料工程師平均每年薪酬高達17.5萬美元，而在國內，頂尖的網際網路類公司，相比於其他崗同等級別的崗位，大資料工程師的薪酬大約要比其他職位高20%至30%，而且很受企業的重視。

看了那些動則年薪百萬的報導，哈哈哈，內心真是充滿期待。

但是對於基礎相對薄弱的我，看了需要掌握的技能後，說心裡話，無論從專業還是學習時間上都是有難度的，所以我通過朋友介紹參加由CSDN主辦的《大資料就業訓練營》。

加入課程後通過高效系統的學習曲線、緊貼市場需求的技能圖譜、緊密及時的答疑輔導，幫我最快入門、精通掌握技術語言，經過三個多月的時間學習，順利畢業並推薦到名企就業，所以以前別人家常常說的那些在我耳畔的話，那個主人就變成了我。

就這樣我愛上了大資料，愛上了那個我心儀的姑娘，並且那個姑娘嫁給了我。

CSDN學院精心打造了《大資料就業訓練營》來了！劃重點：通過4個月系統實訓成為一名不低於業界水平的大資料工程師。

由楚門智慧資料學院創始人錢老師親自帶隊，為想進入大資料行業的程式設計師們傾情獻上，大資料就業特訓課程，以助力想學習大資料技能的開發者走向事業的巔峰。

點我直達：大資料工程師實訓營！

課程簡介

該課程首推業界最先進技術標準，引領行業技術更新：Hadoop3.0、Hive2.0、HBase1.0、Storm1.0、Spark2.2等。完整專案貫穿整個教學體系，提供獨家大資料雲實驗室環境，通過實驗室感受 TB級資料分析效果。並有持續 ETL流程，定時ETL流程，多業務平行計算，業務協同管理等場景，做到真實演練。讓學員更加深刻體會大資料的獨特魅力。

五大專案實戰

你可以學到：

Linux實踐與Java基礎

Hadoop生態體系(HDFS+MapReduce+Pig(選修)+HBase+Zookeeper+Hive+Sqoop+Flume)

Spark核心架構：Scala+Spark 核心、Spark SQL 2.X

流計算引擎：Spark Streaming 2.X＋Storm 1.0＋Kafka

基於Spark的大資料探勘分析：Spark Mllib(選修))

大資料MPP資料庫最佳實踐：Impala+Presto(選修)

大資料應用排程工具使用及企業平臺實戰（Hue+Azakban+Cloudera）

企業級大資料專案實戰

想了解更多關於此次特訓的詳情，可加CSDN課程規劃師微信好友進一步瞭解，更有千元優惠券等你來拿！名額有限，還等什麼，掃碼加入吧！

聯絡CSDN學院職場規劃師，獲取一對一專屬服務

（包括：IT職場規劃服務/專屬折扣）

點我直達：大資料工程師實訓營！