Storm常見模式1——BasicBolt

五柳-先生發表於2015-11-18
ORM模式
1.Storm中與各個程式與hadoop程式對應關係是怎麼樣的？
2.Storm中與hadoop對應的mapreduce是什麼？


Storm中的很多Bolt都有一個最常見的處理步驟：

讀入一個tuple；
根據這個輸入tuple，提取後發射0個，1個或多個tuple；
最後，通過ack操作確認這個tuple被成功處理。
按照上述處理步驟，依次處理髮向這個Bolt的各個tuple元組。

這種模式可以實現像ETL這類的簡單函式或過濾器功能，Storm中專門為這種模式封裝了相應介面：IBasicBolt。BaseBasicBolt等類實現了這一介面。

為了能更好的理解Storm，及出現的術語，這裡提供一張圖：
 


下面是以BaseBasicBolt為基礎，按照上述模式實現詞頻統計的Bolt（程式碼參考連結：storm-starter）：
  1. public static class WordCount extends BaseBasicBolt {
  2. 　　　　　//記錄每個單詞及單詞出現的次數
  3.         Map<String, Integer> counts = new HashMap<String, Integer>();

  5.         @Override
  6.         public void execute(Tuple tuple, BasicOutputCollector collector) {
  7.             String word = tuple.getString(0);
  8.             Integer count = counts.get(word); //提取單詞出現次數
  9.             if(count==null)
  10. 　　　　　　　　　count = 0;
  11.             count++;
  12.             counts.put(word, count); //更新單詞出現次數
  13.             collector.emit(new Values(word, count)); //發射統計結果
  14.         }

  16.         @Override
  17.         public void declareOutputFields(OutputFieldsDeclarer declarer) {
  18. 　　　　　　　declarer.declare(new Fields("word", "count"));
  19.         }
  20.     }

轉載： http://www.aboutyun.com/thread-7375-1-4.html


相關文章