大資料崗位總結和相關書籍推薦

大家好，我是一哥。

最近有幾個群友問我大資料怎麼入門，作為一個零基礎大資料入門學習者該看哪些書呢?我結合自己看過的書和了解到的比較好的資料，給大家分享一下。

01、大資料有哪些相關崗位

要學習大資料，首先我們得了解一下都有哪些大資料相關的崗位，正所謂“面向工作程式設計”嘛。現在的很多公司的大資料團隊一般有三個小組：大資料平臺組、資料倉儲組以及資料分析組。

雖然大家都屬於一個部門，但是三個小組的崗位要求卻不一樣。下面介紹一下三個小組的技術要求以及工作重點。

一、大資料平臺組

負責大資料平臺的設計開發，大資料平臺的運維，大資料應用系統的開發。

大資料平臺的設計開發：參與大資料平臺建設，包括架構設計以及開發實現。要求深入大資料生態體系，對Hadoop，spark，hive等分散式框架有深刻理解，通讀主要原始碼，有大資料專案構建經驗。

大資料平臺的運維：負責運維大資料平臺解決方案的制定、設計和實施，跟進HDFS,Yarn,Spark,Kafka,HBase,ELK等生態元件的落地實踐。要求精通Hadoop/MapReduce/Hive/Spark等原理以及常見運維問題解決，熟悉ELK框架等。

大資料應用系統的開發：結合應用需求，規劃應用場景並開發實現，驅動業務發展。要求掌握常用的程式語言以及框架。

二、資料倉儲組

負責資料倉儲的設計、建模、ETL任務開發等工作。數倉在小組內一般都是一撥人搞，業務分析、數倉設計、任務開發等都要做。

數倉開發：負責把業務系統的資料抽取到資料倉儲，然後根據分析應用需求，建設數倉模型，開發對應的ETL任務，形成多個主題的分析模型，供分析師和業務系統呼叫。以做一桌菜來打個比方，ETL就是收集做菜的原料，初步擇菜、洗菜加工的過程。數倉是根據不同的口味偏好(主題域)，將ETL產生的原料加工成不同口味的每道菜的過程，最後，根據自己要招待的客人需要，把不同的菜隨時拼成各種檔次的定製佳餚。

三、資料分析組

負責對海量業務資料進行分析挖掘, 滿足研發和運營等部門的業務和決策需求。

資料分析師：對資料有良好的敏感性, 能夠通過資料察覺到背後的業務變化和潛在問題，熟悉常用的資料分析方法, 具備相關專案經驗, 熟悉資料分析原理以及方案。

演算法工程師：深入理解資料探勘、機器學習演算法原理，具備優秀的資料建模能力，能夠根據實際問題選擇合適的模型和演算法。能夠結合業務需求，開發相應的演算法模型。

資料產品經理：資料普通產品經理的技能之外，還要具備資料分析技能，並瞭解整個大資料應用建設的流程，一般需要有資料相關技術背景。

02、怎麼入門這些崗位

瞭解了每個崗位的能力需求，那麼給大家推薦一些每個崗位相關的書籍。

大資料平臺：

《Hadoop權威指南》《Hive程式設計指南》《Hbase權威指南》《大資料日知錄》《Flink技術內幕》，還有各個大資料技術棧的官網。

資料倉儲：

《資料倉儲工具箱》《大資料之路》再找本SQL書籍，把SQL寫溜兒了。

資料分析：

《業務建模與資料探勘》《概率論與數理統計》《統計學》《機器學習(西瓜書)》《機器學習實戰》，把Python寫溜兒了。

當然，還有很多好的書籍，這裡沒有列出來，太多了大家也看不完，上面列的資料我大部分都看過，還都不錯的。網上部門也有電子版，不過還是推薦大家購買正版書籍，深知碼字不易!

03、總結

大資料的相關崗位目前還是很好找工作的，而且工資普遍比其他的同級IT工作工資要高。不過，對於剛入行的還是要了解一下相關崗位的工作內容，看哪個興趣大一些就選哪個，畢竟按照996算的話，你一天50%的時間都在公司度過的。

另外，除了在公眾號分享一些工作經驗和知識總結外，也會在我的知識星球給大家分享一些資料和個人製作或者私藏的PPT，有好的技術話題，也會跟大家直播聊一聊，歡迎大家加入，一起學習。