Hadoop-Map/Reduce實現實現倒排索引

林六天發表於2014-07-07
Hadoop索引
先來簡單介紹一下什麼是文件倒排索引
倒排索引是文件檢索系統中最常見的資料結構，被廣泛應用在全文搜尋引擎上。主要用來儲存某個單詞（或片語）在一個文件或者一組文件中的儲存位置的對映，即提供了一種根據內容來查詢文件的方式。
簡單點來講呢，就是根據內容找文章。
 
倒排索引的概念說明白了，就該說說怎麼用MapReduce實現。
測試資料奉上：
file1：MapReduce is simple
file2：MapReduce is powerful is simple
file3：Hello MapReduce bye MapReduce 
輸出的結果：
Hello    file3.txt:1;
MapReduce    file3.txt:2;file:2.txt:1;file1.txt:1;
bye    file"3.txt:1;
is    file2.txt:2;file1.txt:1; 
powerful    file2.txt:1;
simple    file2.txt:1;file1.txt:1;
 
設計思路
map、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
context.write("MapReduce:file1", 1)  context.write("is:file1", 1)  context.write("simple:file1", 1)  context.write("MapReduce :file2", 1)  context.write("is:file2", 1)  context.write("powerful :file2", 1) context.write("is:file2", 1) 
 
<"MapReduce:file1", {1}> <"is:file1", {1}> <"simple:file1", {1}>  <"simple:file1", {1}>  <"is:file2",  {1, 1}> ..........................
combine、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
context.write("MapReduce" , "file1:1") context.write("is" , "file1:1")  context.write("simple" , "file1:1")  context.write("MapReduce " , "file2:1")  context.write("is" , "file2:2")................................
<"MapReduce",{ "file1:1","file2:1"}>  <"is",{ "file1:1","file2:2"}>   <"simple",{ "file1:1"}> .......................
reduce、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
context.write("MapReduce","file1:1,file2:1")..................................
 
這個過程中的Combine是不可插拔的，也就是不可以省略的，因為它和Reduce的業務邏輯不一樣。
 
程式碼奉上
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class InvertedIndex {

    public static class InvertedMap extends
            Mapper<LongWritable, Text, Text, IntWritable> {
        private Text kText = new Text();
        private IntWritable vIntWritable = new IntWritable(1);
        private FileSplit split;

        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String[] lineSplit = line.split("\t");
            // 獲取文件名稱
            split = (FileSplit) context.getInputSplit();
            int indexOfFile = split.getPath().toString().indexOf("file");
            String fileName = split.getPath().toString().substring(indexOfFile);

            for (int i = 0; i < lineSplit.length; i++) {
                kText.set(lineSplit[i] + "：" + fileName);
                context.write(kText, vIntWritable);
            }

        }

    }

    public static class InvertedConbine extends
            Reducer<Text, IntWritable, Text, Text> {
        private Text kText = new Text();
        private Text vText = new Text();

        protected void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            // 詞頻統計
            int sum = 0;
            for (IntWritable v : values) {
                sum += v.get();
            }
            int indexOf = key.toString().indexOf("：");
            kText.set(key.toString().substring(0, indexOf));
            vText.set(key.toString().substring(indexOf + 1) + "：" + sum);
            context.write(kText, vText);

        }

    }

    public static class InvertedReduce extends Reducer<Text, Text, Text, Text> {
        private Text vText = new Text();

        protected void reduce(Text key, Iterable<Text> values, Context context)
                throws IOException, InterruptedException {
            String filelist = new String();
            for (Text v : values) {
                filelist += v.toString() + ";";
            }
            vText.set(filelist);
            context.write(key, vText);
        }

    }

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(InvertedIndex.class);

        job.setMapperClass(InvertedMap.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setCombinerClass(InvertedConbine.class);

        job.setReducerClass(InvertedReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        System.exit(job.waitForCompletion(true)? 0:1);
    }

}

 

 

相關文章