一個MapReduce 程式示例 細節決定成敗(八)：TotalOrderPartitioner

在上一個實驗中 一個MapReduce 程式示例 細節決定成敗(七) ：自定義Key 及RecordReader，使用自定義的RecordReader 從split 中讀取資訊，封裝到自定義的key中。
這一步在使用TotalOrderPartitioner 進行詞頻統計是非常重要的。
下面進入主題：在一個MapReduce 程式示例 細節決定成敗(五) ：Partitioner  中，演示瞭如何使用一下自定義Partitioner。
我們使用了一個自定義的Partitioner，來實現當設定3個reducer時輸出字元的排序問題。為了簡化問題，我使用在partitioner中直接進行判斷。
這裡面其實是有兩個我們應該注意的問題。

1、在partitioner程式碼中寫死了，只有3個reducer，那如果我們想要把reducer的個數設定成其它值，還需要改程式碼。
2、partitioner 的一個作用就是解決資料傾斜的問題，但我們上次寫的那個partitioner不適用

那接下來我們介紹的 TotalOrderPartitioner 就完美解決了上述兩個問題。

本次涉及到的內容有。 

1、生成樣本partition file
2、使用使用CacheFile功能把partition file 分發到各個map task節點。
3、配置使用TotalOrderPartitioner.

因為TotaOrderlPartitioner是已經封裝到hadoop 系統中了，所以我們只要正確配置就可以了。
partition file ：描述了每個字元應該進入到哪兒個reducer中的檔案，功能就是上一篇中我們簡化處理的 a~i 分到0， h~q 分到1，r~z 分到2。
partition file 不用我們手動去寫，而且手動去寫也很難平均分佈各個reducer任務的負載。可以使用InputSampler.RandomSampler完成此項工作的。

點選(此處)摺疊或開啟

1.  /**
2.   *  freq:每個key 可以被抽樣次數
3.   *  numSamples:總樣本數  
4.   */
   
5. InputSampler.RandomSampler(double freq, int numSamples);
   
6. 
   
7.  /**
   
8.   *  freq:每個key 可以被抽樣次數
9.   *  numSamples:總樣本數
10.   *  maxSplitsSampled:定義最多從多少個splits 上進行抽樣
11.   */
    
12. InputSampler.RandomSampler(double freq, int numSamples, int maxSplitsSampled);
    
13. 
    

預設抽樣是在所有的split上進行的，當輸入檔案很大的時候，使用第一個方法進行抽樣代價會很大。
當處理檔案很大的時候，加上第三個引數maxSplitsSampled 限定最多處理多少個split。

freq 引數： 被抽樣到的split中的每一個key 被選中的概率。 numSamples 代表抽樣的總樣本數。 比如從10000條資料中抽取 10條數，假如freq 設定為0.5，那按概率大約執行到20條的時候，樣本數就夠了。
但然後程式會繼續執行，每個被抽中的樣本去隨機替換一條已經抽出的10條記錄中的一條，一直到最後。

下面貼一下配置使用TotaOrderlPartitioner的程式碼 
         關注 getPartitionFile和 new URI 的寫法。

點選(此處)摺疊或開啟

1.                 job.setPartitionerClass(TotalOrderPartitioner.class);
   
2.                 job.setNumReduceTasks(3);
   
3.                 RandomSampler<MyKey, NullWritable> sampler
   
4.                            = new InputSampler.RandomSampler<MyKey,NullWritable>(0.6, 20, 3);
   
5.                 InputSampler.writePartitionFile(job, sampler);
   
6. 
   
7.                 String partitionFile = TotalOrderPartitioner.getPartitionFile(job.getConfiguration());
   
8.                 URI uri = new URI(partitionFile+"#"+TotalOrderPartitioner.DEFAULT_PATH);
   
9.                 job.addCacheFile(uri);

注意： 1、RecordReader的key與map輸入輸出key和reduce的輸入key  要保持一致。  因為取樣是從job 配置的InputFormat中得到RecordReader 然後不斷的得到Key ,從中取樣。 

               取到的樣使用TotalOrderPartitioner 得到的partitionFile 是供分配到不同reducer的，所以RecordReader的key 要與Reduer的輸入key 一致，又 RecordReader的key value 是輸入到 map 中的，

                Reduce 的輸入又是Map的輸出。繞了半天結論就是： RecordReader的key, Map 的輸入輸出key ,Reduce的輸入key 是要保持一致的。

貼一下結果：

點選(此處)摺疊或開啟

1. wordcount.MyKey@212cb585 8
2. wordcount.MyKey@212cb585 3
   
3. wordcount.MyKey@212cb585 4
   
4. wordcount.MyKey@212cb585 4
   
5. wordcount.MyKey@212cb585 11
   
6. wordcount.MyKey@212cb585 4
   
7. wordcount.MyKey@212cb585 3
   
8. wordcount.MyKey@168497f6 8
   
9. wordcount.MyKey@168497f6 5
   
10. wordcount.MyKey@168497f6 3
    
11. wordcount.MyKey@168497f6 3
    
12. wordcount.MyKey@168497f6 6
    
13. wordcount.MyKey@168497f6 7
    
14. wordcount.MyKey@168497f6 4
    
15. wordcount.MyKey@168497f6 12
    
16. wordcount.MyKey@168497f6 3
    
17. wordcount.MyKey@168497f6 3
    
18. wordcount.MyKey@2e67cd84 13
    
19. wordcount.MyKey@2e67cd84 4
    
20. wordcount.MyKey@2e67cd84 4
    
21. wordcount.MyKey@2e67cd84 6
    
22. wordcount.MyKey@2e67cd84 7
    
23. wordcount.MyKey@2e67cd84 3
    
24. wordcount.MyKey@2e67cd84 6
    
25. wordcount.MyKey@2e67cd84 3

       注意到key的格式，這是由於我們的MyKey沒有覆寫toString 方法，輸出的時候直接使用了Object的toString實現。
   

結果分析：  下面資料是執行結果，可以看到抽樣劃分的界限是a~e  f~p q~z 。

下面貼出主程式程式碼

點選(此處)摺疊或開啟

1. package wordcount;
   
2. 
   
3. import java.io.IOException;
   
4. import java.net.URI;
   
5. 
   
6. import org.apache.hadoop.conf.Configuration;
   
7. import org.apache.hadoop.conf.Configured;
   
8. import org.apache.hadoop.fs.Path;
   
9. import org.apache.hadoop.io.IntWritable;
   
10. import org.apache.hadoop.io.NullWritable;
    
11. import org.apache.hadoop.io.Text;
    
12. import org.apache.hadoop.mapred.lib.TotalOrderPartitioner;
    
13. import org.apache.hadoop.mapreduce.Job;
    
14. import org.apache.hadoop.mapreduce.Mapper;
    
15. import org.apache.hadoop.mapreduce.Reducer;
    
16. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
    
17. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
    
18. import org.apache.hadoop.mapreduce.lib.partition.InputSampler;
    
19. import org.apache.hadoop.mapreduce.lib.partition.InputSampler.RandomSampler;
    
20. import org.apache.hadoop.util.Tool;
    
21. import org.apache.hadoop.util.ToolRunner;
    
22. import org.apache.log4j.Logger;
    
23. 
    
24. public class MyWordCountJob extends Configured implements Tool {
    
25.         Logger log = Logger.getLogger(MyWordCountJob.class);
    
26. 
    
27.         public static class MyWordCountMapper extends
    
28.                         Mapper<MyKey, NullWritable, MyKey, IntWritable> {
    
29.                 Text mKey = new Text();
    
30.                 IntWritable mValue = new IntWritable(1);
    
31.                 @Override
    
32.                 protected void map(MyKey key, NullWritable value, Context context)
    
33.                                 throws IOException, InterruptedException {
    
34.                         context.write(key, mValue);
    
35.                 }
    
36.         }
    
37. 
    
38.         public static class MyWordCountReducer extends Reducer<MyKey, IntWritable, MyKey, IntWritable> {
    
39.                 Text rkey = new Text();
    
40.                 IntWritable rvalue = new IntWritable(1);
    
41.                 @Override
    
42.                 protected void reduce(MyKey key, Iterable<IntWritable> values,Context context)
    
43.                                 throws IOException, InterruptedException {
    
44. 
    
45.                         int n=0;
    
46.                         for(IntWritable value :values){
    
47.                                 n+= value.get();
    
48.                         }
    
49.                         rvalue.set(n);
    
50.                         context.write(key, rvalue);
    
51.                 }
    
52.         }
    
53. 
    
54.         @Override
    
55.         public int run(String[] args) throws Exception {
    
56.                 //valid the parameters
    
57.                 if(args.length !=2){
    
58.                         return -1;
    
59.                 }
    
60. 
    
61.                 Job job = Job.getInstance(getConf(), "MyWordCountJob");
    
62.                 job.setJarByClass(MyWordCountJob.class);
    
63. 
    
64.                 Path inPath = new Path(args[0]);
    
65.                 Path outPath = new Path(args[1]);
    
66. 
    
67.                 outPath.getFileSystem(getConf()).delete(outPath,true);
    
68.                 TextInputFormat.setInputPaths(job, inPath);
    
69.                 TextOutputFormat.setOutputPath(job, outPath);
    
70. 
    
71. 
    
72.                 job.setMapperClass(MyWordCountJob.MyWordCountMapper.class);
    
73.                 job.setReducerClass(MyWordCountJob.MyWordCountReducer.class);
    
74. 
    
75.                 job.setInputFormatClass(MyCombinedFilesInputFormat.class);
    
76.                 MyCombinedFilesInputFormat.setMaxInputSplitSize(job, 1024*1024*64);
    
77.                 job.setOutputFormatClass(TextOutputFormat.class);
    
78.                 job.setMapOutputKeyClass(MyKey.class);
    
79.                 job.setMapOutputValueClass(IntWritable.class);
    
80.                 job.setOutputKeyClass(MyKey.class);
    
81.                 job.setOutputValueClass(IntWritable.class);
    
82. 
    
83.                 job.setPartitionerClass(TotalOrderPartitioner.class);
    
84.                 job.setNumReduceTasks(3);
    
85.                 RandomSampler<MyKey, NullWritable> sampler
    
86.                            = new InputSampler.RandomSampler<MyKey,NullWritable>(0.6, 20, 3);
    
87.                 InputSampler.writePartitionFile(job, sampler);
    
88. 
    
89.                 String partitionFile = TotalOrderPartitioner.getPartitionFile(job.getConfiguration());
    
90.                 URI uri = new URI(partitionFile+"#"+TotalOrderPartitioner.DEFAULT_PATH);
    
91.                 job.addCacheFile(uri);
    
92. 
    
93.                 return job.waitForCompletion(true)?0:1;
    
94.         }
    
95.         public static void main(String [] args){
    
96.                 int result = 0;
    
97.                 try {
    
98.                         result = ToolRunner.run(new Configuration(), new MyWordCountJob(), args);
    
99.                 } catch (Exception e) {
    
100.                         e.printStackTrace();
     
101.                 }
     
102.                 System.exit(result);
     
103.         }
     
104. 
     
105. }

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30066956/viewspace-2109331/，如需轉載，請註明出處，否則將追究法律責任。