詳解Window10下使用IDEA搭建Hadoop開發環境

gonghr發表於2021-07-21
IdeaHadoop開發環境

前言

經過三次重灌，查閱無數資料後成功完成hadoop在win10上實現偽分散式叢集，以及IDEA開發環境的搭建。一步一步跟著本文操作可以避免無數天坑。

下載安裝Hadoop

下載安裝包

進入官網下載下載hadoop的安裝包（二進位制檔案）http://hadoop.apache.org/releases.html
image

image

我們這裡下載2.10.1版本的，如果想下載更高版本的請先去maven倉庫檢視是否有對應版本

解壓檔案

下載好的.gz檔案可以直接解壓。
image
winRAR和Bandizip都可以用來解壓，但是注意必須以管理員身份開啟解壓軟體，否則會出現解壓錯誤

配置環境變數

配置JAVA_HOME和HADOOP_HOME

我們在環境變數處分別設定JAVA_HOME和HADOOP_HOME
image

然後在Path裡新增JAVA和hadoop的二進位制資料夾，bin資料夾
image

驗證環境變數配置

開啟你的cmd，輸入以下命令，出現我這樣的輸出說明配置環境變數成功：

C:\Users\lenovo>hadoop -version

image

HDFS配置

來到之前解壓的hadoop資料夾下，開啟etc/hadoop資料夾
image

現在我們的任務就是修改這些檔案當中的程式碼，務必修改，不然根本無法執行hadoop！！

修改 hadoop-env.cmd

將configuration處更改為：

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
   </property>
</configuration>

修改 hdfs-site.xml

將configuration處更改為如下所示，其中
file:///E:/DevTols/hadoop-2.10.1/namespace_logs
file:///E:/DevTols/hadoop-2.10.1/data
這兩個資料夾一定需要是已經存在的資料夾，你可以在你的hadoop資料夾下隨意建立兩個資料夾，然後將下面的這兩個資料夾的絕對路徑替換成你的資料夾，這裡我也是建立了兩個新的資料夾，hadoop的下載資料夾裡本身是沒有的。

image

將configuration標籤及內容替換為

<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.name.dir</name>
     <value>file:///E:/DevTols/hadoop-2.10.1/namespace_logs</value>
   </property>
   <property>
     <name>dfs.data.dir</name>
     <value>file:///E:/DevTols/hadoop-2.10.1/data</value>
   </property>
</configuration>

修改 mapred-site.xml

將下方的%USERNAME%替換成你windows的使用者名稱
使用者名稱可以通過win鍵檢視

image

<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%USERNAME%</value>
    </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  <property>
     <name>yarn.apps.stagingDir</name>
     <value>/user/%USERNAME%/staging</value>
   </property>
  <property>
     <name>mapreduce.jobtracker.address</name>
     <value>local</value>
   </property>
</configuration>

注意以上程式碼有兩個地方的%USERNAME%需要替換，不要漏了！！！

修改 yarn-site.xml

<configuration>
   <property>
     <name>yarn.server.resourcemanager.address</name>
     <value>0.0.0.0:8020</value>
   </property>
  <property>
     <name>yarn.server.resourcemanager.application.expiry.interval</name>
     <value>60000</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.address</name>
     <value>0.0.0.0:45454</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.remote-app-log-dir</name>
     <value>/app-logs</value>
   </property>
  <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/dep/logs/userlogs</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
  <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>-1</value>
   </property>
  <property>
     <name>yarn.application.classpath</name>
     <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
   </property>
</configuration>

初始化環境變數

在windows下的cmd，輸入cmd的命令，用於初始化環境變數。

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

格式化檔案系統

這個命令在整個hadoop的配置環境和之後的使用當中務必僅使用一次！
將如下的命令輸入到cmd當中進行格式化：

hadoop namenode -format

會彈出一大堆指令，只要看到其中有如下提示，就說明格式化成功

INFO common.Storage: Storage directory E:\DevTols\hadoop-2.10.1\namespace_logs has been successfully formatted.

向hadoop檔案當中注入winutills檔案

由於windows下想要開啟叢集，會有一定的bug，因此我們去網站：https://github.com/steveloughran/winutils
下載對應版本的winutils.exe檔案。開啟這個Github倉庫後如下所示：

image

我們開啟hadoop2.8.3/bin，選擇其中的winutils.exe檔案進行下載，然後將下載的這個檔案放入到本地的hadoop/bin檔案當中。不然的話，你開啟一會兒你的偽分散式叢集，馬上hadoop就會自動關閉，缺少這兩個檔案的話。

image

向hadoop檔案當中新增hadoop.dll檔案

hadoop.dll檔案是啟動叢集時必須的，如果在安裝過程中悲催地發現/bin目錄下沒有該檔案（比如博主），就需要去網上自學下載該檔案。
進入網頁https://github.com/4ttty/winutils，
根據箭頭所指步驟下載hadoop.dll檔案
image

image

image

下載完成後，把檔案新增到/bin目錄

image

開啟hadoop叢集

在cmd當中輸入

%HADOOP_HOME%/sbin/start-all.cmd

這樣就會跳出來很多黑色的視窗，如下所示：

image

然後可以使用JPS工具檢視目前開啟的node有哪些，如果出現namenode，datanode的話說明叢集基本上就成功了。如下所示：

image

開啟本地瀏覽器進行驗證

我們在瀏覽器輸入localhost:50070,如果能夠開啟這樣的網頁，說明hadoop已經成功開啟：

image

IDEA 配置

歷經千辛萬苦我們總算安裝完Hadoop了，下面在IDEA上用maven配置hadoop

建立MAVEN專案工程

開啟IDEA之後，裡面的引數和專案工程名稱隨便寫，等待工程建立完畢即可。然後我們編輯pom.xml檔案

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>hdfs1205</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
    </dependencies>

</project>

點選右下方的auto-import，自動安裝jar包。完成後左側External Libraries可以看到新增了很多個jar包，如下圖

image

這樣就說明我們匯入maven倉庫成功了。

編寫log4j.proporties配置檔案

在src/main/resources目錄下建立log4j.proporties檔案，編寫如下程式碼

log4j.rootLogger=debug, stdout, R

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

# Pattern to output the caller's file name and line number.
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%n

log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=example.log

log4j.appender.R.MaxFileSize=100KB
# Keep one backup file
log4j.appender.R.MaxBackupIndex=5

log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n

編寫Java檔案

終於到最後一步了，編寫java檔案並執行
別忘了先hadoop偽分散式叢集！！！
cmd中編寫%HADOOP_HOME%/sbin/start-all.cmd

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Test {
    public static void main(String[] args) throws Exception {
        FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());

        FileStatus[] files = fs.listStatus(new Path("/"));
        for (FileStatus f : files) {
            System.out.println(f);
        }
        System.out.println("Compile Over");
    }
}

這段程式碼的含義是遍歷hadoop檔案系統(HDFS)下的root下所有檔案的狀態，並輸出

image

完成以後在cmd輸入%HADOOP_HOME%/sbin/start-all.cmd關閉偽叢集

為了方便可以配置%HADOOP_HOME%/sbin/start-all.cmd和%HADOOP_HOME%/sbin/start-all.cmd
的環境變數，這裡不再贅述，留給讀者發揮。

到這裡Window10下使用IDEA搭建開發環境就完成了，撒花！！！

相關文章