Hadoop自定義輸出排序方式

hgs19921112發表於2018-09-01
package com.hgs;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class AvgValue {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		if(args.length!=2) {
			System.err.println("Usage: MaxTemperature <input path> <output path>");
			System.exit(1);
		}
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "avg of grades");
		job.setJarByClass(AvgValue.class);
		job.setMapperClass(InputClass.class);
		job.setReducerClass(OutputClass.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(DoubleWritable.class);
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		System.exit(job.waitForCompletion(true)?0:1);
		
	}
}
class InputClass extends Mapper<LongWritable, Text, Text, DoubleWritable>{
	@Override
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, DoubleWritable>.Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		if(line.length()>0){
			String[] array = line.split("\t");
			if(array.length==2){
				String name=array[0];
				int grade = Integer.parseInt(array[1]);
				context.write(new Text(name), new DoubleWritable(grade));
			}
		}
		
		
	}
	
}
class OutputClass extends Reducer<Text, DoubleWritable, NameKey, DoubleWritable>{
	@Override
	protected void reduce(Text text, Iterable<DoubleWritable> iterable,
			Reducer<Text, DoubleWritable, NameKey, DoubleWritable>.Context context) throws IOException, InterruptedException {
		int sum = 0;
		int cnt= 0 ;
		for(DoubleWritable iw : iterable) {
			sum+=iw.get();
			cnt++;
		}
		NameKey nk = new NameKey(text,new DoubleWritable(sum/cnt));
		context.write(nk, new DoubleWritable(sum/cnt));
	}
}
//該處透過將輸出記過封裝為一個bean並且實現WritableComparable類,重寫compareTo,來實現對自定義排序
class NameKey implements WritableComparable<NameKey>{
	private Text name ;
	private DoubleWritable grade ;
	public NameKey(Text name,DoubleWritable grade) {
		this.name = name;
		this.grade = grade;
	}
	public Text getName() {
		return name;
	}
	public void setName(Text name) {
		this.name = name;
	}
	public DoubleWritable getGrade() {
		return grade;
	}
	public void setGrade(DoubleWritable grade) {
		this.grade = grade;
	}
	@Override
	public void write(DataOutput out) throws IOException {
		name.write(out);
		grade.write(out);
		
	}
	@Override
	public void readFields(DataInput in) throws IOException {
		name.readFields(in);
		grade.readFields(in);
		
	}
	
	@Override
	public String toString() {
		return name.toString();
	}
	@Override
	public int compareTo(NameKey o) {
		double me = grade.get();
		double other = o.getGrade().get();
		int slid =  (int)(me-other);
		return slid;
	}
	
}
//class Maxreducer extends Reducer


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31506529/viewspace-2213391/,如需轉載,請註明出處,否則將追究法律責任。

相關文章