hadoop 合併sequcefie並在map中讀取

package hgs.sequencefile;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
//合併小檔案
public class SequenceMain {
	public static void main(String[] args) throws IOException, URISyntaxException {
		
		Configuration conf = new Configuration();
		
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.6.129:9000"),conf);
		//獲得該資料夾下的所有的檔案
		FileStatus[] fstats = fs.listStatus(new Path("/words"));
		//System.out.println(fstats.length);
		Text key = new Text();
		Text value = new Text();
		
		@SuppressWarnings("deprecation")
		//建立一個sequecewriter
		//merge.seq是檔名
		SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, new Path("/sequence/merge.seq"), key.getClass(), value.getClass());
		//迴圈遍歷每個檔案 
		for(FileStatus fis : fstats) {
			//將每個檔案以key value的形式寫入到sequencefile中
			FSDataInputStream finput = fs.open(fis.getPath());
			byte[] buffer = new byte[(int)fis.getLen()];
			IOUtils.readFully(finput, buffer, 0, buffer.length);
			//檔名為key 檔案內容為value
			key.set(fis.getPath().getName());
			value.set(buffer);
			writer.append(key, value);
			finput.close();			
		}
		writer.close();
		fs.close();		
	}
}

package hgs.sequencefile;
import java.io.IOException;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class SequnceMapper extends Mapper<Text, Text, Text, Text> {
	@Override
	protected void map(Text key, Text value, Mapper<Text, Text, Text, Text>.Context context)
			throws IOException, InterruptedException {
		context.write(key, value);
	}
}

package hgs.sequencefile;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.SequenceFileOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.SequenceFileAsTextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class SequenceDriver {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "read_sequence_file");
		job.setJarByClass(hgs.sequencefile.SequenceDriver.class);
		// TODO: specify a mapper
		job.setMapperClass(SequnceMapper.class);
		// TODO: specify a reducer
		//job.setReducerClass(Reducer.class);
		// TODO: specify output types
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		//在這個設定讀取sequencefile的inputformat，該類讀取的是String淚習慣的key value
		//SequenceFileAsBinaryInputFormat 該類獨處的ByteWritable的key value
		job.setInputFormatClass(SequenceFileAsTextInputFormat.class);
		// TODO: specify input and output DIRECTORIES (not files)
		FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.6.129:9000/sequence"));
		FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.6.129:9000/seqresult"));
		if (!job.waitForCompletion(true))
			return;
	}
}