大資料前景如何？大資料開發工程師是什麼？

最近發現有些同學並不太瞭解大資料開發工程師這個職位，所以千鋒想簡單介紹一下什麼是大資料開發工程師，當前網際網路公司的資料開發到底是什麼樣子的？和一般的Java或者PHP工程師在工作上有什麼區別？

首先入門大資料你應該明白很多人都進入的一個誤區，什麼不是大資料開發：

僅使用資料庫（關係型mysql，sqlserver，oracle等 非關係型 mongo redis等），儘管資料量達到千萬級別，億級別不是大資料開發。從業務系統的資料庫中查詢資料然後產出報表不是大資料開發。端上（頁面，h5，手機native）埋點上報資料記錄到資料庫中不是大資料開發。

那麼什麼是大資料開發？到智聯上搜了一下大資料開發工程師這個職位，隨便點了幾個職位，需要技能如下：hadoop，hive，hbase，spark，kafka等。

大資料開發做的事情精簡到一個詞語就是：統計。精簡到兩類指標就是：PV和UV。精簡到一句話就是：統計各種指標的PV和UV。PC網際網路時代，各入口網站（比如：新浪，網易，搜狐）關注的是各自網站今天被開啟了幾次（pv），今天有多少人（uv）訪問了網站。

更復雜一點的比如：頁面上某個按鈕或者某個連線有多少人點選了幾次，某個頁面上的熱力圖，移動網際網路時代，手機應用被使用者開啟的次數和人數也是大家關注的重點，但是除此之外還多出了許多其他非常重要的資料，由於手機螢幕的限制，資訊流成為了移動時代的主流。

各大入口網站非常關注自己的新聞客戶端中：在資訊流中曝光了多少篇文章，其中有多少篇文章被使用者點選了。每篇文章閱讀了長時間，因為使用者點選的文章越多，使用客戶端的時間越長，各公司的廣告收入才越高，所以各公司想方設法推薦使用者喜歡的內容。

因為網站的瀏覽行為，手機客戶端中文章的曝光或者點選這些資料非常大，基本以億為單位起。所以傳統的把統計資訊放到資料庫中的方式已經不能完成這項統計工作。例如：wordpress部落格中，使用者每閱讀一篇文章，mysql中就會更新這篇文章的閱讀次數+1。所以大資料是透過日誌來統計這些指標。比如：後臺服務的日誌（apache，tomcat，weblogic，nginx日誌）。

主要難點在於：日誌量太大（一般大點的網際網路公司，一個業務線每天的日誌都有幾個t，再大些的每天幾十t，幾百t也不奇怪），需要掌握大資料相關技術例如前面提到的hadoop，hive等。

另外資料的及時性，從離線計算來說，一般每天零點，前一天的日誌都接收完畢，開始計算前一天的資料，幾點能計算完畢？要看各個公司各自的要求。

資料的準確性。這是重中之重，如果是實時計算，需要掌握實時相關技術。例如：每5分鐘網站的線上人數。監控任務是否失敗，資料是否產出，產出的資料是否異常。如果任務失敗如何補救。比如實時任務，由於某種原因13:00到14:00的資料沒有，如何把資料補回來。

在轉做大資料開發之前，一直在用Java作業務系統：例如hr系統（考勤，薪資等），收費系統。談談我個人對業務系統開發和大資料開發的理解：業務系統開發：對資料庫的各種增刪改查操作。

重點難點在於：對複雜業務的理解上（比如計算工資：基本工資，五險一金，全勤獎，高溫補貼，報銷，獎金，加班費.....等等都需要計算）。線上服務的穩定，比如facebook，淘寶等網站高併發的壓力下維持網站正常執行。

大資料開發一句話就是對字串的各種算數。重難點在於資料的及時性。例如實時資料中，想知道 12:00~12:10這10分鐘的使用者數，如果這個資料在晚上20點才計算完成，那就沒什麼意義了。再比如，大家應該都有體驗過：再手機上重新整理聞的時候，你點了某一篇文章，再繼續重新整理聞，後面很快會出來不少和前面點選的那篇文章類似的文章，這就是根據你的點選給你及時推薦你有更大可能點的東西。

零基礎永遠不是藉口，沒時間永遠不是藉口，抓住千鋒逆戰班直播體驗課的機會，用勤奮與汗水，鑄就美好的明天。在文章下方留言即可試聽課程外加領取千鋒HTML5、UI互動設計、PHP、Java+雲資料、大資料開發、VR/AR/Unity遊戲開發、Python人工智慧、Linux雲端計算、全棧軟體測試、網路安全等900G+影片學習教程。