1、大資料 Hadoop配置和單機Hadoop系統配置

wangruijie發表於2021-05-28
大資料Hadoop
#檢視伺服器ip
ip add
#設定主機名稱
hostnamectl set-hostname master
bash
#檢視
hostname
#繫結ip
vi /etc/hosts

新增

伺服器IP地址 master

#檢視ssh狀態
systemctl status sshd

active (running)

#關閉防火牆
systemctl stop firewalld
#檢視防火牆狀態
systemctl status firewalld
#永久關閉防火牆
systemctl disable firewalld

建立hadoop使用者並設定密碼

安裝jdk

vi /etc/profile
#環境變數
export JAVA_HOME=jdk安裝根目錄全路徑
export PATH=$PATH:$JAVA_HOME/bin
#執行使生效
source /etc/profile
#檢視是否可用
echo $JAVA_HOME
# 檢視jdk安裝
java -version

安裝配置Hadoop環境

解壓
vi /etc/profile
配置環境變數
# HADOOP_HOME 指向 JAVA 安裝目錄
export HADOOP_HOME=hadoop安裝根目錄全路徑
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#執行使生效
source /etc/profile
#檢查
hadoop
#修改目錄所有者和組
chown -R hadoop:hadoop 安裝目錄全路徑

安裝單機hadoop系統

進入hadoop根目錄

vi etc/hadoop/hadoop-env.sh

查詢export JAVA_HOME修改等號後面為jdk路徑

進入hadoop使用者

建立imput目錄

寫一個統計檔案,測試 MapReduce 執行

hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar  wordcount  ~/input/data.txt ~/output

檢視輸出目錄

檢視輸出目錄下part-r-00000檔案

遞迴刪除輸出目錄

相關文章