學習七：Hadoop小程式測試

    如前面所述，我們在本機搭建好Elcipse，我們進行JAVA小程式的編寫，具體步驟

如下：

1、建立新的JAVA project專案：Hadoop

2、點選hadoop專案右鍵進入屬性，在java build path中載入所需要的JAR包。

3、點選C+建立類，在類名：填寫PutMerge，並打鉤public static void main(String[] args]

4、編寫java小程式
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutMerge {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        FileSystem hdfs  = FileSystem.get(conf);
        FileSystem local = FileSystem.getLocal(conf);

        Path inputDir = new Path(args[0]);  --輸入本地檔案系統的目錄和檔案
        Path hdfsFile = new Path(args[1]); --輸出HDFS的檔名

        try {
            FileStatus[] inputFiles = local.listStatus(inputDir);
            FSDataOutputStream ut = hdfs.create(hdfsFile); --建立檔案

            for (int i=0; i                System.out.println(inputFiles[i].getPath().getName());
                FSDataInputStream in = local.open(inputFiles[i].getPath());
                byte buffer[] = new byte[256];
                int bytesRead = 0;
                while( (bytesRead = in.read(buffer)) > 0) {
                    out.write(buffer, 0, bytesRead);
                }
                in.close();
            }
            out.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

5、該小程式生成class類檔案，我們需要對該類檔案打成JAR包，然後上傳到HADOOP平臺
D:>cd d:\hadoop\project\HelloJava\bin

編寫文字manifest.mf
Main-Class: PutMerge

D:>jar cvfm PutMerge.jar manifest.mf PutMerge.class

生成的JAR包上傳到伺服器中。

6、測試
# vi /tmp/test1.txt
adfsfs fasfasfeqe fwfqw

# hadoop jar PutMerge.jar /tmp/test1.txt  /tmp/1.txt  (/tmp是HDFS建立目錄）
#hadoop fs -cat /tmp/1.txt

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/354732/viewspace-721803/，如需轉載，請註明出處，否則將追究法律責任。