windows下安裝部署 hadoop

丶谦信發表於2024-10-13

WindowsHadoop

一、安裝下載

1.首先在hadoop官網下載一個穩定版本，選擇binary包

官網地址：https://hadoop.apache.org/releases.html

下載下來是tar.gz檔案，用winrar解壓即可。

2.因為這個壓縮包是for linux系統的，win下還需要安裝幾個dll winutils,

下載地址：https://www.jianguoyun.com/p/Dcs2UoQQzuztCxiq89oFIAA

二、環境變數

1.在環境變數中配置好JAVA_HOME

2.將壓縮包解壓到 D:\\hadoop-3.3.6\ ，並在環境變數裡將此路徑新增到 HADOOP_HOME。

3.將 hadoop-3.3.6 目錄下的 bin 資料夾新增到 PATH 變數中。

4.並把 winutils 壓縮包解壓後的 dll 檔案複製複製到 hadoop 的 bin 目錄下。

三、配置HADOOP

1.配置 hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///D:/hadoop-3.3.6/data/datanode</value>
    </property>
</configuration>

2.配置 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://127.0.0.1:9000</value>
    </property>
    
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/D:\\hadoop-3.3.6\data\tmp</value>
    </property>
</configuration>

3.配置 mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

4.配置 yarn-site.xml

<configuration>
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>