大資料學習筆記之Hadoop安裝步驟詳解

一般大資料叢集都是由Hadoop組成的， 本文的最終目標是安裝和配置兩臺Ubuntu伺服器，讓他們組成Hadoop的叢集 。

首先要安裝vmware workstation虛擬軟體，這個安裝方法和一般的軟體一樣，這裡附一個安裝版本，供大家下載。

連結: 密碼:21w9

1、用vmware workstation建立虛擬機器，開始先不選擇安裝包

記憶體選擇：如果本機是4G記憶體，則分配虛擬機器1G記憶體

2、按預設要求來，完成虛擬機器的初步配置

【大資料開發學習資料領取方式】：加入大資料技術學習交流群458345782，點選加入群聊，私信管理員即可免費領取

3、開始ubuntu的安裝

選擇映象檔案（我用的版本也在上面的網盤裡下載），然後一步步的安裝

4、選擇電腦名稱為hd1，密碼為123456。注意Your name設定為ubuntu

5、開啟Ubuntu虛擬機器，開啟終端編輯器

6、安裝並進入VMware Tools。安裝透過點選虛擬機器->安裝VMware Tools進行安裝。

7、複製VMware Tools的壓縮包到另一個檔案目錄下。這裡放到了tmp目錄下。

8、解壓VMWare Tools

9、解壓後進入vmware-tools-distrib

10、繼續編寫命令進行安裝 sudo./vmware-install.pl

11、安裝VMware Tools成功

12、利用 sudo aptinstall vim安裝vim。安裝完成後如下圖。

13、輸入reboot重啟，同時重啟後輸入init 0關閉虛擬機器

14、複製hd1資料夾，命名為hd2，放在存虛擬機器的資料夾下

15、用記事本開啟hd2資料夾下的hd1.vmx。修改其中的displayName為hd2.

再用VMware WorkStation開啟hd1.vmx

16、分別啟動兩臺虛擬機器

17、根據電腦的ip配置/etc/hosts檔案，給IP地址一個別名，方便後面操作。注意ip地址為你兩臺虛擬機器的ip地址。用ifconfig命令可以檢視本機IP。一般是191.168.開頭的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2

18、安裝openssh-server

19、啟動ssh

20、保證每次開機時自動啟動ssh

21、多機互信，兩臺虛擬機器都要執行ssh-keygen-t rsa命令。

22、進行金鑰的互信，兩臺虛擬機器都要執行cat id_rsa.pub >> authorized_keys命令。

23、將hd1的檔案拷到hd2上，同時把hd2的檔案拷到hd1上

24、驗證已經實現雙機互信

25、在hd1上進行hadoop的安裝

26、在hd1和hd2上進行java的安裝。

兩臺主機都要執行sudo apt install default-jre命令。

27、在hd1和hd2上分別進行相關目錄的建立

接下來需要配置hadoop叢集檔案

配置檔案有7個：

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env檔案。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop

29、配置yarn-env檔案

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

30、配置slave檔案

hd1

hd2

31、配置core-site檔案

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hd1:9000</value>

</property>

<property> 

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/ubuntu/hadoop/tmp</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>

</property>

32、配置hdfs-site檔案

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hd1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hd1:9001</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/ubuntu/hadoop/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/ubuntu/hadoop/hdfs</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.broken.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

</configuration>

33、配置mapred-site檔案

注意先將mapred-site.xml.template檔案拷出，然後再使用vim命令

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hd1:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hd1:19888</value>

</property>

【大資料開發學習資料領取方式】：加入大資料技術學習交流群458345782，點選加入群聊，私信管理員即可免費領取

34、配置yarn-site檔案

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>hd1:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hd1:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hd1:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hd1:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hd1:8088</value>

</property>

35、在hd1和hd2上配置路徑檔案。執行下面兩條命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin

36、在hd1上加入hadoop路徑到path路徑下

37、在hd1上格式化namenode，執行hadoop namenode -format命令

38、在hd1上進行檔案的分發，注意命令列當前所在的位置。

39、驗證是否安裝成功

在hd1上建一個a.txt檔案

拷到hdfs檔案裡面去

列印顯示

自此安裝成功

【大資料開發學習資料領取方式】：加入大資料技術學習交流群458345782，點選加入群聊，私信管理員即可免費領取