mac系統上hdfs java api的簡單使用

huan1993發表於2023-03-08
MacJavaAPI

1、背景

在上一節中，我們簡單學習了在命令列上如何操作hdfs shell api，此處我們透過java程式來操作一下。

2、環境準備

  1. 需要在本地環境變數中 配置 HADOOP_HOME 或在程式啟動的時候透過命令列指定hadoop.home.dir的值，值為HADOOP的home目錄地址。可透過org.apache.hadoop.util.Shell#checkHadoopHome方法驗證。
  2. 我們的HADOOP最好是自己在本地系統進行重新編譯，不然可能執行部分java api會出現問題。

3、環境搭建

3.1 引入jar包

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.junit</groupId>
            <artifactId>junit-bom</artifactId>
            <version>5.7.1</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.3.4</version>
    </dependency>
    <dependency>
        <groupId>org.junit.jupiter</groupId>
        <artifactId>junit-jupiter</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-api</artifactId>
        <version>2.14.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.14.1</version>
    </dependency>
</dependencies>

3.2 引入log4j.properties配置檔案

log4j.appender.console = org.apache.log4j.ConsoleAppender
log4j.appender.console.Target = System.out
log4j.appender.console.layout = org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern = [%-5p] %d{ HH:mm:ss,SSS} [%t]:%m%n

log4j.rootLogger = debug,console

引入這個配置是為了，當hadoop報錯時，更好的排查問題

3.3 初始化Hadoop Api

@TestInstance(TestInstance.Lifecycle.PER_CLASS)
class HdfsApiTest {

    private FileSystem fileSystem;

    private static final Logger log = LoggerFactory.getLogger(HdfsApiTest.class);

    @BeforeAll
    public void setUp() throws IOException, InterruptedException {
        // 1、將 HADOOP_HOME 設定到環境變數中

        Configuration configuration = new Configuration();
        // 2、此處的地址是 NameNode 的地址
        URI uri = URI.create("hdfs://192.168.121.140:8020");
        // 3、設定使用者
        String user = "hadoopdeploy";

        // 此處如果不設定第三個引數，指的是客戶端的身份，預設獲取的是當前使用者，不過當前使用者不一定有許可權，需要指定一個有許可權的使用者
        fileSystem = FileSystem.get(uri, configuration, user);
    }

    @AfterAll
    public void tearDown() throws IOException {
        if (null != fileSystem) {
            fileSystem.close();
        }
    }
}

此處我們需要注意的是，需要設定客戶端操作的 使用者，預設情況下獲取的是當前登入使用者，否則很有可能會出現如下錯誤

客戶端使用者使用不對
解決辦法：
1、修改目錄的訪問許可權。
2、修改客戶端的使用者，比如此處修改成hadoopdeploy

4、java api操作

4.1 建立目錄

@Test
@DisplayName("建立hdfs目錄")
public void testMkdir() throws IOException {
    Path path = new Path("/bigdata/hadoop/hdfs");
    if (fileSystem.exists(path)) {
        log.info("目錄 /bigdata/hadoop/hdfs 已經存在,不在建立");
        return;
    }
    boolean success = fileSystem.mkdirs(path);
    log.info("建立目錄 /bigdata/hadoop/hdfs 成功:[{}?]", success);
}

4.2 上傳檔案

@Test
@DisplayName("上傳檔案")
 void uploadFile() throws IOException {
     /**
      * delSrc: 檔案上傳後，是否刪除原始檔 true:刪除 false:不刪除
      * overwrite: 如果目標檔案存在是否重寫 true:重寫 false:不重寫
      * 第三個引數：需要上傳的檔案
      * 第四個引數：目標檔案
      */
     fileSystem.copyFromLocalFile(false, true,
             new Path("/Users/huan/code/IdeaProjects/me/spring-cloud-parent/hadoop/hdfs-api/src/test/java/com/huan/hadoop/HdfsApiTest.java"),
             new Path("/bigdata/hadoop/hdfs"));
 }

4.3 列出目錄下有哪些檔案

@Test
@DisplayName("列出目錄下有哪些檔案")
 void testListFile() throws IOException {
     RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(new Path("/bigdata"), true);
     while (iterator.hasNext()) {
         LocatedFileStatus locatedFileStatus = iterator.next();
         Path path = locatedFileStatus.getPath();
         if (locatedFileStatus.isFile()) {
             log.info("獲取到檔案: {}", path.getName());
         }
     }
 }

4.4 下載檔案

@Test
@DisplayName("下載檔案")
 void testDownloadFile() throws IOException {
     fileSystem.copyToLocalFile(false, new Path("/bigdata/hadoop/hdfs/HdfsApiTest.java"),
             new Path("/Users/huan/HdfsApiTest.java"), true);
 }

4.5 刪除檔案

@Test
@DisplayName("刪除檔案")
public void testDeleteFile() throws IOException {
    fileSystem.delete(new Path("/bigdata/hadoop/hdfs/HdfsApiTest.java"), false);
}

4.6 檢測檔案是否存在

@Test
@DisplayName("檢查檔案是否存在")
 public void testFileExists() throws IOException {
     Path path = new Path("/bigdata/hadoop/hdfs/HdfsApiTest.java");
     boolean exists = fileSystem.exists(path);
     log.info("/bigdata/hadoop/hdfs/HdfsApiTest.java 存在:[{}]", exists);
 }

5、完整程式碼

https://gitee.com/huan1993/spring-cloud-parent/blob/master/hadoop/hdfs-api/src/test/java/com/huan/hadoop/HdfsApiTest.java

相關文章