編寫第一個HADOOP應用程式

下午有空

在MyEclipse 8.5環境下

編寫了一個HADOOP小程式。

建立Java 工程
開啟eclipse，選擇“File -> New -> Java Project”，新建一個“Java Project”，進入“New Java
Project”對話方塊，將“Project name”設定為“DFSOperator”，

選中“DFSOperator”，並單擊右鍵，選擇“New -> Class”選單，新建“Name”為“DFSOperator”
的class，並選中自動建立main 函式，

配置編譯引數
下面開始配置“Build Path”，選中“DFSOperator”，單擊右鍵，點選下圖所示選單“Build
Path -> Configure Build Path”，進入“Java Build Path”配置介面。
選擇“Libraries”標籤頁，點選右側的“Add External JAR”按鈕，將安裝好的“hadoop－0.20.0-core.jar”

”commons-logging-1.0.4.jar“

新增進來。

原始碼
進入的“DFSOperator.java”檔案編輯介面，將“DFSOperator.java”的內容修改成如下：

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
public class DFSOperator {

 /**
  * @param args
  */
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  Configuration conf = new Configuration();
    try {
    FileSystem fs = FileSystem.get(conf);
    Path f = new Path("hdfs:///dfs_operator.txt");
    FSDataOutputStream s = fs.create(f, true);
    int i=0;
    for (i=0; i<100000; ++i)
    os.writeChars("test");
    os.close();
    } catch (IOException e) {
    e.printStackTrace();
    }
 }
}

編譯生成JAR
右鍵“DFSOperator”專案，選擇“Build Project”，編譯專案工程，編譯“DFSOperator.java”
後，生成DFSOperator.class 檔案

右鍵專案，選擇“Export”：

進入“Export”對話方塊：

選中“JAR file”，然後點選“Next”按鈕

，設定好JAR 包的檔名和存放位置，然後點選“Finish”按鈕，生成
dfs_operator.jar 檔案

然後將dfs_operator.jar 檔案上傳到Hadoop Master 節點。

測試執行
假設Hadoop 安裝在/usr/local/hadoop 目錄下，dfs_operator.jar 存放在hadoop/bin 目錄下，
按照下圖所示的五步依次進行操作：

首先進入Hadoop 的bin 目錄，然後依次完成如下的五步操作：
(1) 檢視當前目錄，檢查dfs_operator.jar 是否存在：ls
(2) 檢視Hadoop 根目錄下是否存在dfs_operator.txt 檔案：./hadoop fs -ls /
(3) 執行dfs_operator.jar，以生成dfs_operator.txt 檔案：
./hadoop jar ./dfs_operator.jar DFSOperator
(4) 再檢視Hadoop 根目錄下是否存在dfs_operator.txt 檔案：./hadoop fs -ls /
(5) 檢查dfs_operator.txt 檔案的內容：./hadoop fs -cat /dfs_operator.txt

 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/8183550/viewspace-686332/，如需轉載，請註明出處，否則將追究法律責任。