MapReduce 按照Value值進行排序輸出
檔案輸入:
A 1
B 5
C 4
E 1
D 3
W 9
P 7
Q 2
檔案輸出:
W 9
P 7
B 5
C 4
D 3
Q 2
E 1
A 1
程式碼如下:
package comparator;
import java.io.IOException;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.IntWritable.Comparator;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class comparator{
/**
* @param args
* @throws IOException
* @throws IllegalArgumentException
* @throws InterruptedException
* @throws ClassNotFoundException
*/
public static class myComparator extends Comparator {
@SuppressWarnings("rawtypes")
public int compare( WritableComparable a,WritableComparable b){
return -super.compare(a, b);
}
public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {
return -super.compare(b1, s1, l1, b2, s2, l2);
}
}
public static class Map extends Mapper<Object,Text,IntWritable,Text>{
public void map(Object key,Text value,Context context) throws NumberFormatException, IOException, InterruptedException{
String[] split = value.toString().split("\t");
context.write(new IntWritable(Integer.parseInt(split[1])),new Text(split[0]) );
}
}
public static class Reduce extends Reducer<IntWritable,Text,Text,IntWritable>{
public void reduce(IntWritable key,Iterable<Text>values,Context context) throws IOException, InterruptedException{
for (Text text : values) {
context.write( text,key);
}
}
}
public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {
// TODO Auto-generated method stub
Job job = new Job();
job.setJarByClass(comparator.class);
job.setNumReduceTasks(1); //設定reduce程式為1個,即output生成一個檔案
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setMapOutputKeyClass(IntWritable.class);
job.setMapOutputValueClass(Text.class);
job.setOutputKeyClass(Text.class); //為job的輸出資料設定key類
job.setOutputValueClass(IntWritable.class); //為job的輸出設定value類
job.setSortComparatorClass( myComparator.class); //自定義排序
FileInputFormat.addInputPath(job, new Path(args[0])); //設定輸入檔案的目錄
FileOutputFormat.setOutputPath(job,new Path(args[1])); //設定輸出檔案的目錄
System.exit(job.waitForCompletion(true)?0:1); //提交任務
}
}
相關文章
- Map按照key和value進行排序排序
- Python dict sort排序 按照key,valuePython排序
- mysql 字串型別的數值欄位按照數值的大小進行排序MySql字串型別排序
- 讓 排序 按照 in 列表的的顯示順序排序輸出。排序
- 「Js」物件按照鍵名來進行排序JS物件排序
- mysql按照漢字拼音進行order by排序MySql排序
- 欄位按照指定 ID 順序進行排序排序
- Js實現Object按照值的某個欄位(數值型別)的大小進行排序JSObject型別排序
- sort按照數值大小排序排序
- 基於python對B站收藏夾按照視訊釋出時間進行排序Python排序
- c語言:輸入任意10個正整數,按照升序排序輸出:(冒泡演算法)C語言排序演算法
- python 對字典的值進行排序Python排序
- JavaScript 根據物件鍵值進行排序JavaScript物件排序
- 二維陣列每行分別進行從小到大排序輸出陣列排序
- java8 實現map以value值排序Java排序
- ORA_ROWSCN與按照commit時間對記錄進行排序MIT排序
- 如何按最後修改時間對 ls 命令的輸出進行排序排序
- C#按照日期輸出程式日誌C#
- hexdump如何按照單位元組格式輸出
- linux 中awk命令實現按照 指定的字元對文字進行排序Linux字元排序
- 按照價格排序!排序
- 排序,檔案輸入輸出排序
- linux 中實現資料按照指定行號順序輸出Linux
- nginx日誌按照天進行分割Nginx
- 二維陣列根據鍵的值進行排序陣列排序
- printf十六進位制輸出64位值的方法
- MapReduce之WritableComparable排序排序
- 演算法題---五個執行緒排序輸出演算法執行緒排序
- 使用SQL按照區間進行分組SQL
- laravel 按照whereIn中給定陣列順序輸出Laravel陣列
- awk多行日誌排序輸出排序
- python pandas超簡單 對單列值進行計數 value_countsPython
- Map根據Value排序排序
- MapReduce框架排序和分組框架排序
- 二維陣列按照其內層陣列的某個鍵值排序陣列排序
- JavaScript 使用sort()方法從數值上對陣列進行排序JavaScript陣列排序
- 呼叫MapReduce對檔案中單詞出現次數進行統計
- 如何在Spark鍵值對資料中,對指定的Key進行輸出/篩選/模式匹配Spark模式