Storm流計算之專案篇(Storm+Kafka+HBase+Highcharts+JQuery,含3個完整實際專案)

beifengwang發表於2014-08-25
 Storm是Twitter開源的分散式實時大資料處理框架,被業界稱為實時版Hadoop。 隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍,比如網站統計、推薦系統、預警系統、金融系統(高頻交易、股票)等等, 大資料實時處理解決方案(流計算)的應用日趨廣泛,目前已是分散式技術領域最新爆發點,而Storm更是流計算技術中的佼佼者和主流。 按照storm作者的說法,Storm對於實時計算的意義類似於Hadoop對於批處理的意義。Hadoop提供了map、reduce原語,使我們的批處理程式變得簡單和高效。 同樣,Storm也為實時計算提供了一些簡單高效的原語,而且Storm的Trident是基於Storm原語更高階的抽象框架,類似於基於Hadoop的Pig框架, 讓開發更加便利和高效。本課程會深入、全面的講解Storm,並穿插企業場景實戰講述Storm的運用。 淘寶雙11的大螢幕實時監控效果衝擊了整個IT界,業界為之驚歎的同時更是引起對該技術的探索。有興趣聯絡QQ704271672
1、Storm應用前景和課程大綱介紹
2、CDH5搭建之CM5安裝部署
3、CDH5搭建和CM介面化叢集管理
4、Hadoop、HBase、Zookeeper叢集管理和角色分配
5、Kafka基礎知識和叢集搭建
6、Kafka基本操作和最優設定
7、Kafka Java API 簡單開發測試
8、storm-kafka 詳解和實戰案例
9、JS圖表框架HighCharts介紹
10、HBase 快速入門
11、基於HBase的Dao基類和實現類開發一
12、基於HBase的Dao基類和實現類開發二
13、【專案1-地區銷售額】需求分析和架構設計
專案1主要技術點:
後臺開發架構設計
前臺開發架構設計
前後端資料實時互動
HighCharts圖表開發
圖表秒級無重新整理實時展示
3D柱圖、條形圖、柱子圖展示效果
14、【專案1-地區銷售額】Spout融合Kafka Consumer及執行緒安全測試
15、【專案1-地區銷售額】Bolt業務邏輯處理一
16、【專案1-地區銷售額】最佳化Bolt支援重啟及結果資料核查
17、【專案1-地區銷售額】HighCharts圖表開發一及Web端架構設計
18、【專案1-地區銷售額】HTTP長連結實現實時推送
19、【專案1-地區銷售額】HighCharts圖表開發二及jquery運用
20、【專案1-地區銷售額】Web端完善和細節最佳化
21、【專案1-地區銷售額】專案釋出及總結
22、【專案2-省份銷售排行】專案需求分析和分割槽Trident Spout開發
專案2為完全Storm Trident開發專案,主要技術點:
採用雙縱軸圖表展示效果
Storm Trident開發 
採用Storm事務處理
基於Hbase的Trident State
DRPC分散式遠端呼叫
TopN,前N排行
23、【專案2-省份銷售排行】Trident 程式碼開發一
24、【專案2-省份銷售排行】Trident 程式碼開發二
25、【專案2-省份銷售排行】基於HBase儲存的State運用
26、【專案2-省份銷售排行】雙縱軸HighCharts圖表開發一
27、【專案2-省份銷售排行】雙縱軸HighCharts圖表開發二
28、【專案2-省份銷售排行】雙縱軸HighCharts圖表開發三
29、【專案2-省份銷售排行】前臺和圖表互動開發和Top N實現
30、【專案2-省份銷售排行】Top N展示最佳化和專案總
31-40講為【專案3-網站User Views數】內容,該專案會繼續增加難度,
展示圖形為仿股票走勢圖的UV數實時分時走勢圖。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29212814/viewspace-1257136/,如需轉載,請註明出處,否則將追究法律責任。

相關文章