原：http://blog.csdn.net/zyj8170/article/details/7178371

1.對於某些應用而言，需要特殊的資料結構來儲存自己的資料。對於基於MapReduce的資料處理，將每個二進位制資料的大物件融入自己的檔案中並不能實現很高的可擴充套件性，針對上述情況，Hadoop開發了一組更高層次的容器SequenceFile。

     2. 考慮日誌檔案，其中每一條日誌記錄是一行文字。如果想記錄二進位制型別，純文字是不合適的。這種情況下，Hadoop的SequenceFile類非常合適，因為上述提供了二進位制鍵/值對的永久儲存的資料結構。當作為日誌檔案的儲存格式時，可以自己選擇鍵，比如由LongWritable型別表示的時間戳，以及值可以是Writable型別，用於表示日誌記錄的數量。SequenceFile同樣為可以作為小檔案的容器。而HDFS和 MapReduce是針對大檔案進行最佳化的，所以透過SequenceFile型別將小檔案包裝起來，可以獲得更高效率的儲存和處理。
     3. SequenceFile類內部有兩個比較主要的內部類分別是SequenceFile.Reader和SequenceFile.Writer
      SequenceFile.Reader
      透過createWriter（）靜態方法可以建立SequenceFile物件，並返SequenceFile.Writer例項。該靜態方法有多個過載版本，但都需要指定待寫入的資料流（FSDataOutputStream或FileSystem物件和Path物件），Configuration物件，以及鍵和值的型別。另外可選引數包括壓縮型別以及相應的codec，Progressable回撥函式用於通知寫入的進度，以及在SequenceFile標頭檔案中儲存的Metadata例項。儲存在SequenceFile中的鍵和值對並不一定是Writable型別。任意可以透過Serialization類實現序列化和反序列化的型別均可被使用。一旦擁有SequenceFile.Writer例項，就可以透過append（）方法在檔案末尾附件鍵/值對。
    SequenceFile.Writer
    建立SequenceFile.Writer可以透過呼叫本身的建構函式 SequenceFile.Reader(FileSystem fs, Path file, Configuration conf) 來構造例項物件，從頭到尾讀取順序檔案的過程是建立SequenceFile.Reader例項後反覆呼叫next（）方法迭代讀取記錄的過程。讀取的是哪條記錄與你使用的序列化框架相關。如果使用的是Writable型別，那麼透過鍵和值作為引數的Next（）方法可以將資料流中的下一條鍵值對讀入變數中：
     public boolean next（Writable key，Writable val），如果鍵值對成功讀取，則返回true，如果已讀到檔案末尾，則返回false。

下面是我練習時除錯的程式碼：

[java]view plaincopy
			
			import java.io.IOException;  
		
			import java.net.URI;  
		
			import java.util.Random;  
		
			import org.apache.hadoop.conf.Configuration;  
		
			import org.apache.hadoop.fs.FileSystem;  
		
			import org.apache.hadoop.fs.Path;  
		
			import org.apache.hadoop.io.IntWritable;  
		
			import org.apache.hadoop.io.SequenceFile;  
		
			import org.apache.hadoop.io.Text;  
		
			public class sequence {  
		
			    /** 
		
			     * @param args 
		
			     */  
		
			    public static  FileSystem fs;  
		
			    public static final String Output_path="/home/hadoop/test/A.txt";  
		
			    public static Random random=new Random();  
		
			    private static final String[] DATA={  
		
			          "One,two,buckle my shoe",  
		
			          "Three,four,shut the door",  
		
			          "Five,six,pick up sticks",  
		
			          "Seven,eight,lay them straight",  
		
			          "Nine,ten,a big fat hen"  
		
			         };  
		
			    public static Configuration conf=new Configuration();  
		
			    public static void write(String pathStr) throws IOException{  
		
			        Path path=new Path(pathStr);  
		
			        FileSystem fs=FileSystem.get(URI.create(pathStr), conf);  
		
			        SequenceFile.Writer writer=SequenceFile.createWriter(fs, conf, path, Text.class, IntWritable.class);  
		
			        Text key=new Text();  
		
			        IntWritable value=new IntWritable();  
		
			        for(int i=0;i
		
			            key.set(DATA[i]);  
		
			            value.set(random.nextInt(10));  
		
			            System.out.println(key);  
		
			            System.out.println(value);  
		
			            System.out.println(writer.getLength());  
		
			            writer.append(key, value);  
		
			        }  
		
			        writer.close();  
		
			    }  
		
			    public static void read(String pathStr) throws IOException{  
		
			        FileSystem fs=FileSystem.get(URI.create(pathStr), conf);  
		
			        SequenceFile.Reader reader=new SequenceFile.Reader(fs, new Path(pathStr), conf);  
		
			        Text key=new Text();  
		
			        IntWritable value=new IntWritable();  
		
			        while(reader.next(key, value)){  
		
			            System.out.println(key);  
		
			            System.out.println(value);  
		
			        }  
		
			    }  
		
			    public static void main(String[] args) throws IOException {  
		
			        // TODO Auto-generated method stub  
		
			        write(Output_path);  
		
			        read(Output_path);  
		
			    }     
		
			}

mapreduce 程式設計SequenceFile類的使用

相關文章