Java 程式碼本地設定Hadoop使用者名稱密碼

TechSynapse發表於2024-08-14
JavaHadoop密碼

在Hadoop環境中，通常使用Kerberos進行身份驗證。但在一些開發或測試環境中，我們可能需要在原生代碼中設定使用者名稱和密碼來模擬或進行簡單的測試。雖然這不是一個安全的做法，因為它違背了Kerberos的使用原則，但在某些場景下（如單元測試或本地開發）可能是必要的。

方法一：使用Hadoop的API來設定使用者名稱和密碼

下面我將展示如何在Java程式碼中使用Hadoop的API來設定使用者名稱和密碼，並進行簡單的檔案操作。請注意，這僅適用於非安全叢集或測試環境。

首先，確保你的專案中已經包含了Hadoop的依賴。如果你使用Maven，可以在pom.xml中新增以下依賴：

<dependencies>  
    <dependency>  
        <groupId>org.apache.hadoop</groupId>  
        <artifactId>hadoop-client</artifactId>  
        <version>3.3.1</version>  
    </dependency>  
</dependencies>

接下來是Java程式碼示例：

import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.security.UserGroupInformation;  
  
import java.io.IOException;  
  
public class HadoopUserSetup {  
    public static void main(String[] args) {  
        String hdfsUri = "hdfs://localhost:9000";  
        String username = "hadoopuser";  
        String password = "hadooppassword";  
  
        Configuration conf = new Configuration();  
        conf.set("fs.defaultFS", hdfsUri);  
        conf.set("dfs.client.use.datanode.hostname", "true");  
  
        UserGroupInformation.setConfiguration(conf);  
        try {  
            UserGroupInformation.loginUserFromKeytab(username, "/path/to/keytab/file.keytab");  
            // 如果不使用Kerberos，可以使用以下方式（不推薦，僅適用於測試環境）  
            // UserGroupInformation ugi = UserGroupInformation.createRemoteUser(username);  
            // ugi.doAs(new PrivilegedExceptionAction<Void>() {  
            //     public Void run() throws Exception {  
            //         FileSystem fs = FileSystem.get(conf);  
            //         // 進行檔案操作  
            //         return null;  
            //     }  
            // });  
  
            FileSystem fs = FileSystem.get(conf);  
            Path path = new Path("/user/hadoopuser/testfile.txt");  
            if (fs.exists(path)) {  
                System.out.println("File exists");  
            } else {  
                System.out.println("File does not exist");  
            }  
            fs.close();  
        } catch (IOException e) {  
            e.printStackTrace();  
        }  
    }  
}

重要提醒：

  1. 上述程式碼中的UserGroupInformation.loginUserFromKeytab方法是使用Kerberos認證的標準方式，需要提供keytab檔案。如果你確實需要在原生代碼中設定使用者名稱和密碼（不推薦），可以使用註釋中的UserGroupInformation.createRemoteUser方法，但請確保這僅在安全的環境中使用。
  2. 真正的生產環境中，應避免在程式碼中硬編碼使用者名稱和密碼。
  3. 如果你的Hadoop叢集啟用了Kerberos認證，強烈建議使用Kerberos認證方式連線HDFS。

方法二：使用Kerberos認證來連線Hadoop叢集

更安全的做法是使用Kerberos認證來連線Hadoop叢集。以下是一個使用Java程式碼透過Kerberos認證連線Hadoop HDFS的完整示例：

首先，確保你的環境中已經配置了Kerberos，並且你有有效的Kerberos憑據（比如keytab檔案）。

然後，你可以使用以下Java程式碼：

import org.apache.hadoop.conf.Configuration;  
import org.apache.hadoop.fs.FileSystem;  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.security.UserGroupInformation;  
  
import java.io.IOException;  
  
public class KerberosHdfsConnection {  
    public static void main(String[] args) {  
        String hdfsUri = "hdfs://your-hadoop-cluster:8020"; // 替換為你的HDFS URI  
        String principal = "your-principal@YOUR.REALM"; // 替換為你的Kerberos主體  
        String keytabPath = "/path/to/your.keytab"; // 替換為你的keytab檔案路徑  
  
        Configuration conf = new Configuration();  
        conf.set("fs.defaultFS", hdfsUri);  
        conf.set("dfs.client.use.datanode.hostname", "true");  
        conf.set("hadoop.security.authentication", "kerberos");  
  
        UserGroupInformation.setConfiguration(conf);  
        try {  
            UserGroupInformation.loginUserFromKeytab(principal, keytabPath);  
            FileSystem fs = FileSystem.get(conf);  
            Path path = new Path("/user/your-username/testfile.txt"); // 替換為你的HDFS路徑  
            if (fs.exists(path)) {  
                System.out.println("File exists");  
            } else {  
                System.out.println("File does not exist");  
            }  
            fs.close();  
        } catch (IOException e) {  
            e.printStackTrace();  
        }  
    }  
}

在這個示例中，我們首先設定了HDFS的URI、Kerberos主體和keytab檔案的路徑。然後，我們使用UserGroupInformation.loginUserFromKeytab方法來登入Kerberos，並使用返回的FileSystem物件來執行檔案操作。

請確保將程式碼中的佔位符（如your-hadoop-cluster、your-principal、YOUR.REALM和/path/to/your.keytab）替換為實際的值。

這種方法比硬編碼使用者名稱和密碼更安全，因為它使用了Kerberos認證機制來驗證使用者的身份。在生產環境中，這是連線Hadoop叢集的推薦方式。

相關文章