hadoop編譯—+2.x編譯

source發表於2019-01-19
Hadoop編譯

hadoop+2.X編譯(centos系統)

  • 為了是hadoop更相容當前使用的作業系統 所以介紹下如何編譯當前使用平臺的hadoop

1.準備軟體

  • jdk 1.8+
  • Maven 3.5.4

  • protobuf 2.5.0 (其他版本測試會有問題 建議用2.5.0)

     google的一種資料交換的格式，它獨立於語言，獨立於平臺
  • hadoop-2.x.x-src
  • ant-1.9.7
  • 平臺環境 centos 6.7

1.1 jdk安裝(略)

1.2 maven安裝

  • 解壓
  • cd /export/software/
tar -zxvf apache-maven-3.5.4-bin.tar.gz  -C ../servers/
cd /export/servers/
mv apache-maven-3.5.4 maven-3.5.4/
  • 修改環境變數
  • vim /etc/profile
新增以下變數
#maven
export M2_HOME=/export/servers/maven-3.5.4
export PATH=$PATH:$M2_HOME/bin
  • 新增阿里源()
  • 查詢mirrors 標籤
<mirrors>
    
<mirror>
        <id>alimaven</id>
        <name>aliyun maven</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>
</mirror>
    
</mirrors>

1.3protobuf安裝

  • 官方github的安裝教程 
  • yum install glibc-headers
yum install gcc-c++ 
yum  install  gcc
yum install  make 

yum -y install autoconf automake
yum -y install zlib zlib-devel openssl openssl-devel pcre-devel
  • 解壓
  • tar -zxvf protobuf-2.5.0.tar.gz
  • 編譯
  • cd  /protobuf-2.5.0
./ configure
make
make  install
  • 測試
  • protoc  --version

1.4CMake安裝

  • yum  install  cmake     
yum  install  openssl-devel
yum  install rses-devel

1.5 ant安裝

  • 解壓
  • tar -zxvf  apache-ant-1.9.4-bin.tar.gz
  • 配置變數
  • vim /etc/profile

export ANT_HOME=/export/servers/apache-ant-1.9.7
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile
  • 測試
  • ant  -version

2 編譯hadoop

  • 解壓hadoop
  • tar -zxvf hadoop-2.7.5-src.tar.gz
  • 檢視環境要求
  • cd hadoop-2.7.5-src
vim BUILDING.txt

東西太多自己看吧
  • 編譯
  • cd hadoop-2.7.5-src
mvn package -Pdist,native -DskipTests -Dtar
或者
mvn  package -DeskipTests -Pdist,native
  • 等待結果
  • cd
  • 同樣在剛剛進行編譯的那個目錄下，有一個
    hadoop-dist資料夾，進入裡面的target資料夾，然後就可以看到編譯成功64位的hadoop檔案，解壓後的在
    hadoop-2.5.2 這個資料夾中，同時還生成了一個壓縮包：hadoop-2.5.2-tar.gz 這個壓縮包可以拷貝到別的centos-6.7機器上進行安裝

相關文章