大資料時代的電光火石

課程名稱：開源力量公開課第四十九期 - Spark：大資料時代的電光火石

報名地址：http://www.osforce.cn/openclass/65/show?id=ituring

課程背景： Spark是發源於美國加州大學伯克利分校AMPLab的叢集計算平臺。它立足於記憶體計算，從多迭代批量處理出發，兼收幷蓄資料倉儲、流處理和圖計算等多種計算正規化，是罕見的全能選手。

課程大綱： 1. spark簡介 推薦連結：http://www.tuicool.com/articles/2uA773 2. scala語法介紹 函數語言程式設計 閉包 幾個關鍵的函式:map 和flatmap 3. spark的關鍵元件 master worker sparkContext（client） 4. 4種rdd 輸入rdd，轉化rdd，快取rdd 行動rdd（只有最後一種才會進行計算） 5. 一個wordcount例子 解釋剛才講過的rdd，圖例解釋DAG的概念 6. stage的概念 stage存在的意義，stage和依賴的關係 什麼是資料的pipeline 7. 兩種Task Task的提交與執行 8 計算結果

講師介紹： 白碩，從事該領域開發八年，經驗豐富，具有豐富的通訊技術實踐經驗。