如何用JAVA程式碼操作HDFS
有時候我們不會直接上伺服器去操作Hadoop的HDFS,那麼下面我就為大家展示一下怎麼用JAVA程式碼操作Hadoop
pom如下
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.wy</groupId>
<artifactId>FOBJ</artifactId>
<packaging>pom</packaging>
<version>1.0-SNAPSHOT</version>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>7</source>
<target>7</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.2</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>E:/javajdk/lib/tools.jar</systemPath>
</dependency>
</dependencies>
</project>
具體操作起來其實很簡單程式碼如下:
package com.wy;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HDFS {
public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
Configuration cfg =new Configuration();
cfg.set("fs.defaultFS","hdfs://192.168.85.128:9000");
FileSystem fs=FileSystem.get(new URI("hdfs://192.168.85.128:9000"),cfg,"root");
fs.mkdirs(new Path("/cds"));
fs.close();
}
}
上面這個例子就是一個建立資料夾的例子,其他的操作同理,都是使用FileSystem的物件操作,大家用的時候就會發現方法名就是命令
相關文章
- HDFS 05 - HDFS 常用的 Java API 操作JavaAPI
- Java操作hdfs出現的問題Java
- 程式碼如人
- 使用java程式碼操作redisJavaRedis
- 使用java操作ranger,hdfs ranger授權操作,hive ranger授權操作JavaRangerHive
- HDFS常用操作
- 如何用Java與python程式碼解釋IO模型JavaPython模型
- elasticsearch的java程式碼操作詳解ElasticsearchJava
- Hadoop(十)HDFS API操作HadoopAPI
- Java事務註解:讓你的程式碼如絲般順滑Java
- 重構程式碼(應如寫詩)
- Java使用程式碼模擬高併發操作Java
- 如何用Java程式碼在SAP Marketing Cloud裡建立contact資料JavaCloud
- 阿里如何用 AI 寫程式碼?阿里AI
- java IO流 對檔案操作的程式碼集合Java
- 如何用iPad執行Python程式碼?iPadPython
- Java_操作外部程式Java
- 如何用 SpringBoot 優雅的寫程式碼Spring Boot
- 開發者故事|程式碼虐我千萬遍,我待程式碼如“初戀”
- 【Java】若依(ruoyi)——7.程式碼生成(二)細節操作Java
- 全面吃透JAVA Stream流操作,讓程式碼更加的優雅Java
- 如何用python pandas操作excel?PythonExcel
- HDFS原始碼解析系列一——HDFS通訊協議原始碼協議
- java大資料最全課程學習筆記(3)--HDFS 簡介及操作Java大資料筆記
- 如何用程式碼動態生成ABAP型別型別
- AngularJS(二、如何用AngularJS建立前端程式碼框架)AngularJS前端框架
- java程式的氣泡排序操作Java排序
- Git操作和程式碼管理Git
- dom操作程式碼例項
- Java併發程式設計之Java CAS操作Java程式設計
- (一)hadoop叢集搭建——1.4hdfs的操作Hadoop
- 大資料系列2:Hdfs的讀寫操作大資料
- Hadoop系列006-HDFS概念及命令列操作Hadoop命令列
- JNI:Java程式碼呼叫原生程式碼Java
- 如何用低程式碼實現批次匯出PDF?
- java安全編碼指南之:Number操作Java
- java 程式碼塊Java
- HDFS原始碼解析:教你用HDFS客戶端寫資料原始碼客戶端