基於Spark的大資料實時處理開課

目前對大資料的實時分析工具，業界公認最佳為Spark。Spark是基於記憶體計算的大資料平行計算框架，Spark目前是Apache軟體基金會旗下，頂級的開源專案，Spark提出的DAG作為MapReduce的替代方案，相容HDFS、Hive等分散式儲存層，可融入Hadoop的生態系統，以彌補缺失MapReduce的不足，事實上已成為當前網際網路企業主流的大資料實時處理工具。


為解決廣大系統設計人員深入研究與開發大資料實時處理的需要，培訓中心在2017年6月7-9日，舉辦了“大資料實時處理-基於Spark的大資料實時處理及應用技術”培訓班。


主講此次課程的楊教授提供了案例分析來幫助學員瞭解如何用Spark實時大資料工具來解決業界的問題，並介紹了Spark生產環境搭建的相關知識。


楊教授介紹，Spark生態系統(BDAS專案)已經發展成一個，包含多個子專案的集合，包括Spark SQL、Spark Streaming、GraphX、MLlib等，本課程從大資料實時處理技術以及Spark實戰的角度，結合理論和實踐，全方位地介紹Spark大資料實時處理工具的原理和核心,包括Spark大資料計算框架、執行架構、設計模型和資料管理策略，及Spark在業界的應用。


希望來自各企業的學員們通過本課程學習，把Spark實時大資料處理開發上升到一個新水平。