零基礎入門學習大資料可以從事哪些工作?

weixin_33938733發表於2018-07-10

2018年隨著當代資訊科技的迅猛發展,大資料在人們的工作、生產、生活、學習、娛樂等方面,人們想開始學習大資料的時候,最常問我的問題是,“我應該學Hadoop(hadoop是一款開源軟體,主要用於分散式儲存和計算,他由HDFS和MapReduce計算框架組成的,他們分別是Google的GFS和MapReduce的開源實現。由於hadoop的易用性和可擴充套件性,因此成為最近流行的海量資料處理框架。),分散式計算,Kafka(Kafka是由LinkedIn開發的一個分散式基於釋出/訂閱的訊息系統),NoSQL(泛指非關係型的資料庫)還是Spark(Spark是一種與Hadoop相似的開源叢集計算環境,但是兩者之間還存在一些不同之處)?”

而我通常只有一個答案:“這取決於你究竟想做什麼。”

科多大資料帶你來分析一下,零基礎入門學習大資料可以從事哪些工作呢?

(1)大資料系統研發工程師:負責大資料系統研發工作,包括大規模非結構化資料業務模型構建、大資料儲存、資料庫架構設計以及資料庫詳細設計、優化資料庫構架、解決資料庫中心建設設計問題。他們還負責叢集的日常運作、系統的監測和配置、Hadoop與其他系統的整合。

(2)大資料應用開發工程師:負責搭建大資料應用平臺、開發分析應用程式。他們熟悉工具或演算法、程式設計、包裝、優化或者部署不同的MapReduce事務。他們以大資料技術為核心,研發各種基於大資料技術的應用程式及行業解決方案。

(3)大資料分析師:運用演算法來解決分析問題,並且從事資料探勘工作。他們最大的本事就是能夠讓資料道出真相;此外,他們還擁有某個領域的專長,幫助開發資料產品,推動資料解決方案的不斷更新。

(4)資料視覺化工程師:具備良好的溝通能力與團隊精神,責任心強,擁有優秀的解決問題的能力。他們負責在收集到的高質量資料中,利用圖形化的工具及手段的應用,一目瞭然地揭示資料中的複雜資訊,幫助企業更好的進行大資料應用開發,發現大資料背後的巨大財富。

你適合大資料什麼方向呢?

現在我們已經瞭解了行業中可供選擇的職業種類,讓我們想辦法來確定哪個領域適合你。這樣,我們才能確定你在這個行業中的位置。通常來說,基於你的教育背景和行業經驗可以進行分類。

例1:“我是一名電腦科學畢業生,不過沒有堅實的數學技巧。”

你對電腦科學或者數學有興趣,但是之前沒有相關經驗,你將被定義為一個新人。

例2:“我是一個電腦科學畢業生,目前正從事資料庫開發工作。”

你的興趣在電腦科學方向,你適合計算機工程師(資料相關工程)的角色。

大資料學習之路

核心是,大部分大資料技術都是用Java或Scala編寫的。但是別擔心,如果你不想用這些語言編寫程式碼,那麼你可以選擇Python或者R,因為大部分的大資料技術現在都支援Python和R。

因此,你可以從上述任何一種語言開始。我建議選擇Python或Java。

接下來,你需要熟悉雲端工作。這是因為如果你沒有在雲端處理大資料,沒有人會認真對待。請嘗試在AWS,softlayer或任何其他雲端供應商上練習小型資料集。他們大多數都有一個免費的層次,讓學生練習。如果你想的話,你可以暫時跳過此步驟,但請務必在進行任何面試之前在雲端工作。

相關文章