2021-01-05

1. Java

• 下載Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java，在啟動資源節點管理器時會出現錯誤

• Java 安裝自選目錄, 必須是中間不帶空格的目錄結構：比如 C:\java64 

• 安裝完成後，使用“java -version”命令在命令列中確認執行了正確的版本

　　

C:\Users>java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

 

2. WinRAR/7-ZIP

• 下載並安裝WinRAR 64位版本，用來解壓Windows上的Linux型別tar.gz包： http://www.rarlab.com/download.htm

• 或者使用7-zip： https://www.7-zip.org/download.html

 

3. Hadoop

• 安裝Hadoop發行版。二進位制包: https://archive.apache.org/dist/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz

• 解壓並將資料夾名重新命名為hadoop，並將其放在C:\Learning

• 目錄名字中間不要有空格(因為Hadoop初始開發基於linux， linux 檔名字不能有空格)。

 

3. 1 Setup Environmental Variables

 

 

新增以下目錄到path變數:

 

 

 

3.2 Edit Hadoop Configuration

注意：如果你不想自己配置下面 3.2 過程， 除了3.2.3 其它的步驟可以忽略， 那麼下載下面連結（bin data etc）資料夾放到你的hadoop目錄下覆蓋（https://github.com/yjy24/bigdata_learning ）, 然後從3.2.3 開始繼續！

 

3.2.1 新建data 目錄和子目錄 

• c:/Learning/hadoop/data
• c:/Learning/hadoop/data/namenode
• c:/Learning/hadoop/data/datanode

3.2.2 修改 Hadoop 配置檔案

• HDFS服務地址

 

a) C:\Learning\hadoop\etc\hadoop\core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

•  加入如下內容到mapreduce 框架設定檔案

 

b)  C:\Learning\hadoop\etc\hadoop\mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 

 

• 新增namenode 和 datanode 目錄設定

 

c) C:\Learning\hadoop\etc\hadoop\hdfs-site.xml

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
      <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///Learning/hadoop/data/namenode</value>
  </property>
      <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///Learning/hadoop/data/datanode</value>
  </property>
</configuration>

 

 

•  新增如下內容到Yarn配置檔案

 

D:\Learning\hadoop\etc\hadoop\yarn-site.xml

<configuration>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///c:/Learning/hadoop/tmp</value>
    </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

</configuration>

 

 

• 設定 JAVA_HOME 目錄到 hadoop-env.cmd. 檔案第一行。

 

e) C:\Learning\hadoop\etc\hadoop\hadoop-env.cmd
顯性設定JAVA_HOME
set JAVA_HOME=C:\java64

 

3.2.3 下載配置Windows 環境需要的庫檔案

• 1. 安裝 Visual C++ 2010 Redistributable Package (x64)： https://www.microsoft.com/en-us/download/details.aspx?id=14632

• 2. 把 winutils.exe 等 windows 需要的檔案放到 C:\Learning\hadoop\bin 下面。

　　　　下載 https://github.com/yjy24/bigdata_learning 下面的bin 直接覆蓋C:\Learning\hadoop\bin。 

• 3. 把裡面的 hadoop.dll  拷貝到 C:\Windows\System32 一份

 

3.3 啟動Hadoop 

3.3.1 檢視hadoop version：

首先在cmd裡輸入hadoop version，看看有沒有出現版本資訊，沒有的話估計是path環境沒有配對

3.3.2 格式化 Hadoop namenode：

使用cmd切換到D:\hadoop-2.7.5\bin目錄下，然後執行：
hdfs namenode -format（格式化）

3.3.3 啟動 Hadoop 所有的服務：

 

• cmd再切換到D:\hadoop-2.7.5\sbin目錄下，然後執行

C:\Learning\hadoop\sbin\start-all.cmd   

要用管理員身份執行，四個service視窗會開啟執行， 包括HDFS 的資料節點 和 Yarn 管理器服務程式 

 

3.4 Open Hadoop GUI

1. 資源管理GUI:http://localhost:8088/cluster， 這裡可以檢視job的執行情況 log 資訊。
   
2. 節點管理GUI:http://localhost:50070/