"大資料工程師"和"java後臺開發"的技術要求有什麼區別？

大資料工程師和後臺開發的技能差別有多大？

本人非計算機專業出身，java沒系統學過，喜歡寫程式碼，要找工作了。

現在很迷茫，不知道應該往哪個方面突擊突擊，是老老實實的弄弄java看看hadoop原始碼？還是研究研究scala，還是用Python寫寫爬蟲搞搞網路程式設計？還是把C++好好複習複習，馬上就找工作了，不知道該把時間往哪個技能上衝。

對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入瞭解，想學習的同學歡迎加入大資料學習qq群：458345782，有大量乾貨（零基礎以及進階的經典實戰）分享給大家並且有清華大學畢業的資深大資料講師給大家免費授課，給大家分享目前國內最完整的大資料高階實戰實用學習流程體系 。

1

後臺開發也得看具體職位，如果是做產品，多去看看當前流行的那些開發技術，簡歷裡至少要有個拿得出手的專案。如果是做基礎架構的，要把資料結構和演算法，作業系統，網路程式設計之類的基本功打紮實，這一塊知識點多，水也深。

大資料工程師的話，至少要熟悉storm, hadoop, spark之間優缺點，效能挑優，監控之類的，這塊面比較廣，各種開源的分散式系統多瞭解一下，kafka, elasticsearch, influxdb, fluentd之類的。當然，資料結構和演算法也很重要。

大資料主要從側重對資料的儲存、分析，會涉及到分散式儲存系統、分散式計算系統、機器學習、資料視覺化等方面，每一個方面都可以深入學習很長時間；

後臺開發主要側重網路程式設計、多執行緒/多程式排程、作業系統、各類資料庫存取等，同樣每一點都可以深挖；

2

一個大資料工程師到底應該會什麼？

關於這個問題最終還是要落實到企業需求上。每家公司對大資料工作的要求不盡相同：有的強調資料庫程式設計、有的突出應用數學和統計學知識、有的則要求有諮詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。

由於目前大資料人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模資料處理經驗。因此很多企業會透過內部挖掘。

目前長期從事資料庫管理、挖掘、程式設計工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要透過資料來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試大資料工程師職位。

關於大資料工程師需要掌握的知識，不妨從以下8個方面入手：

Java語言基礎：

Java開發介紹、熟悉Eclipse開發工具、Java語言基礎、Java流程控制、Java字串、Java陣列與類和物件、數字處理類與核心技術、I/O與反射、多執行緒、Swing程式與集合類

HTML、CSS與JavaScript

PC端網站佈局、HTML5+CSS3基礎、WebApp頁面佈局、原生JavaScript互動功能開發、Ajax非同步互動、jQuery應用

JavaWeb和資料庫

資料庫、JavaWeb開發核心、JavaWeb開發內幕

Linux&Hadoopt體系

Linux體系、Hadoop離線計算大綱、分散式資料庫Hbase、資料倉儲Hive、資料遷移工具Sqoop、Flume分散式日誌框架

Spark生態體系

Python程式語言、Scala程式語言、Spark大資料處理、Spark—Streaming大資料處理、Spark—Mlib機器學習、Spark—GraphX 圖計算

大資料分析 —AI（人工智慧）

Data Analyze工作環境準備&資料分析基礎、資料視覺化、Python機器學習、影像識別&神經網路、自然語言處理&社交網路處理

當然，大資料工程師因為技術要求更高，所以薪資上也比一般的後臺開發崗位高30%左右。而學Java的人已經接近飽和，而行業對大資料人才的求賢若渴。現在入行，學大資料是十分明智的選擇。

對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完往哪方面發展，想深入瞭解

想學習的同學歡迎加入大資料學習qq群：458345782，有大量乾貨（零基礎以及進階的經典實戰）分享給大家

並且有清華大學畢業的資深大資料講師給大家免費授課，給大家分享目前國內最完整的大資料高階實戰實用學習流程體系 。