hadoop mapreducez自定義分割槽
package hello_hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.DoubleWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Partitioner; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class AutoParitionner { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { if(args.length!=2) { System.err.println("Usage: hadoop jar xxx.jar <input path> <output path>"); System.exit(1); } Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "avg of grades"); job.setJarByClass(AutoParitionner.class); job.setMapperClass(PartitionInputClass.class); job.setReducerClass(PartitionOutputClass.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(DoubleWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(DoubleWritable.class); //宣告自定義分割槽的類,下面有類的宣告 job.setPartitionerClass(MyPartitioner.class); job.setNumReduceTasks(2); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true)?0:1); } } class PartitionInputClass extends Mapper<LongWritable, Text, Text, DoubleWritable>{ @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, DoubleWritable>.Context context) throws IOException, InterruptedException { String line = value.toString(); if(line.length()>0){ String[] array = line.split("\t"); if(array.length==2){ String name=array[0]; int grade = Integer.parseInt(array[1]); context.write(new Text(name), new DoubleWritable(grade)); } } } } class PartitionOutputClass extends Reducer<Text, DoubleWritable, Text, DoubleWritable>{ @Override protected void reduce(Text text, Iterable<DoubleWritable> iterable, Reducer<Text, DoubleWritable, Text, DoubleWritable>.Context context) throws IOException, InterruptedException { int sum = 0; int cnt= 0 ; for(DoubleWritable iw : iterable) { sum+=iw.get(); cnt++; } context.write(text, new DoubleWritable(sum/cnt)); } } //自定義分割槽的類 //Partitioner<Text , DoubleWritable > Text,DoubleWirtable分別為map結果的key,value class MyPartitioner extends Partitioner<Text , DoubleWritable >{ @Override public int getPartition(Text text, DoubleWritable value, int numofreuceTask) { String name = text.toString(); if(name.equals("wd")||name.equals("wzf")||name.equals("xzh")||name.equals("zz")) { return 0; }else return 1; } }
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2213415/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Kafka - 自定義分割槽器Kafka
- MapReduce之自定義分割槽器Partitioner
- sql mode 和使用者自定義分割槽SQL
- spark:自定義分割槽,自定義排序,spark與jdbc,廣播變數等Spark排序JDBC變數
- MapReduce程式設計例項之自定義分割槽程式設計
- hadoop自定義許可權Hadoop
- oracle 線上重新定義,普通表改變分割槽表,分割槽表可以更改型別、分割槽欄位等Oracle型別
- RecyclerVieW自定義華麗的分割線View
- Flink SQL FileSystem Connector 分割槽提交與自定義小檔案合併策略 SQL
- Hadoop自定義輸出排序方式Hadoop排序
- Hadoop中自定義計數器Hadoop
- 如何查詢分割槽表的分割槽及子分割槽
- 線上重定義分割槽表和NOLOGGING APPEND分割槽表對比APP
- 全面學習分割槽表及分割槽索引(10)--交換分割槽索引
- PLSQL根據分割槽表的分割槽名批次truncate分割槽SQL
- Linux主分割槽,擴充套件分割槽,邏輯分割槽Linux套件
- Oracle分割槽表及分割槽索引Oracle索引
- INTERVAL分割槽表鎖分割槽操作
- Oracle帶區域性分割槽索引的分割槽表刪除舊分割槽新增新分割槽Oracle索引
- 全面學習分割槽表及分割槽索引(13)--分隔表分割槽索引
- hadoop 自定義格式化輸出Hadoop
- 使用split對分割槽表再分割槽
- 簡單ORACLE分割槽表、分割槽索引Oracle索引
- rebuild分割槽表分割槽索引的方法Rebuild索引
- 分割槽表及分割槽索引建立示例索引
- oracle分割槽表和分割槽表exchangeOracle
- Linux分割槽方案、分割槽建議Linux
- 自定義GridView實現分割線解析View
- 全面學習分割槽表及分割槽索引(9)--刪除表分割槽索引
- 全面學習分割槽表及分割槽索引(11)--合併表分割槽索引
- 全面學習分割槽表及分割槽索引(12)--修改list表分割槽索引
- Linux主分割槽,擴充套件分割槽,邏輯分割槽[final]Linux套件
- 學習筆記】分割槽表和分割槽索引——新增表分割槽(二)筆記索引
- 【學習筆記】分割槽表和分割槽索引——管理索引分割槽(四)筆記索引
- 普通錶轉換分割槽表-線上重定義
- Linux 分割槽擴容(根分割槽擴容,SWAP 分割槽擴容,掛載新分割槽為目錄)Linux
- Oracle分割槽表基礎運維-07增加分割槽(2 HASH分割槽)Oracle運維
- 全面學習分割槽表及分割槽索引(17)--其它索引分割槽管理操作索引