好程式設計師分享Java轉行大資料該怎麼規劃學習?

好程式設計師IT發表於2019-09-24

  好程式設計師分享Java轉行 大資料該怎麼規劃學習?學習過Java之後在學習大資料相對會輕鬆一些,主要是要分清你要先從那個方向入手

  

1.  大資料開發工程師,這個比較適合剛剛從Java轉換過來的人員做,主要學習HDFS,MapReduce,Yarn,Hive,Flume,Sqoop,Spark等技術即可轉轉型。

 

2.  數倉工程師:這個需要SQL基礎好一些,其他環境配置基本上公司已經完成,主要是針對Hive方向的開發和資料倉儲的建模擦操作

 

3.  實時工程師:這個主要針對的是Spark部分,SparkStreaming是老牌的實時處理,相對公司使用還是比較多的,近年來阿里收購了Flink之後,加速了Flink在國內的步伐,所以這個flink最好也要學習,Storm就可以適當的瞭解

 

   4.資料探勘:需要學習完成大資料體系,也就是大資料開發工程需要學習的,除了這些外要學會 機器學習R語言主要是為了統計分析和繪圖,在Hadoop生態圈中是有自己的機器學習庫的mahout提供可擴充套件的機器學習領域經典演算法的實現,包括聚類、分類、推薦過濾、頻繁子項挖掘等,且可透過Hadoop擴充套件,但是鑑於MapReduce的效能,建議學習Spark MLlib: MLlib是Spark是常用的機器學習演算法的實現庫,支援二元分類,迴歸,聚類以及協同過濾等演算法。同時也包括一個底層的梯度下降最佳化基礎演算法。除了之外,也可以學系python,python中也有一套完整的機器學習庫 可參考好程式設計師大資料學習路線。



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69913892/viewspace-2658110/,如需轉載,請註明出處,否則將追究法律責任。

相關文章