Hadoop2原始碼分析－準備篇

哥不是小蘿莉發表於2015-04-12
Hadoop原始碼

1.概述

　　我們已經能夠搭建一個高可用的Hadoop平臺了，也熟悉並掌握了一個專案在Hadoop平臺下的開發流程，基於Hadoop的一些套件我們也能夠使用，並且能利用這些套件進行一些任務的開發。在Hadoop的應用級別上，我們接著往後面去研究學習，那就是Hadoop的原始碼了，作為Hadoop開發人員，我們得去學習和研究Hadoop得實現原理，底層框架的設計，編碼的實現過程等等，下面就開始我們今天的Hadoop原始碼分析之旅。

2.準備

　　在分析原始碼之前，我們需要準備好分析原始碼的環境，以及如何去分析（分析的方法）。

2.1基礎環境

　　本系列分析的原始碼是基於Hadoop-2.6.0-src，原始碼下載地址如下：

http://apache.osuosl.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz

　　JDK使用的是Oracle的JDK1.7，下載地址如下：

  • Windows版下載地址：
http://download.oracle.com/otn-pub/java/jdk/7u75-b13/jdk-7u75-windows-x64.exe
  • Linux版下載地址：
http://download.oracle.com/otn-pub/java/jdk/7u75-b13/jdk-7u75-linux-x64.tar.gz

  • Mac OS X版下載地址：

http://download.oracle.com/otn-pub/java/jdk/7u75-b13/jdk-7u75-macosx-x64.dmg

2.2作業系統

　　目前主流的3種作業系統，Windows，Linux，Mac OS X；下面依次來說明不同環境下的配置。

  • Windows

　　直接安裝下的 jdk-7u75-windows-x64.exe 檔案，一路預設安裝即可，安裝完成後在 cmd 下輸入 java -verison 若顯示對應的版本好，即表示安裝成功。若出現 “java 不是內部或外部命令”的錯誤提示，可在 Windows 的環境變數下設定JAVA_HOME，和PATH以及CLASSPATH等環境變數即可。如下圖所示：

　　注：例外還需要Maven環境，和Linux殼，下載IDE（下面Mac OS X環境中提供的IDE，Windows也可以使用），這裡不做贅述。

  • Linux

　　Linux採用的是CentOS 6，由於Linux自帶JDK，本文使用的Oracle的JDK，故我們先解除安裝系統自帶的JDK，安裝我們下載好的 jdk-7u75-linux-x64.tar.gz，具體步驟命令如下：

# 解除安裝自帶JDK
rpm -qa | grep java
yum -y remove java*

　　在使用rpm -qa | grep java命令，查詢JDK資訊，若沒有則表示解除安裝完成。接著是安裝下載好的JDK，首先是解壓並建立目錄，命令如下所示：

tar -zxvf  jdk-7u75-linux-x64.tar.gz
mkdir -p /usr/java && mv  jdk-7u75-linux-x64 /usr/java/jdk1.7

　　然後配置環境變數，內容如下：

export JAVA_HOME=/usr/java/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin

　　然後輸入命令讓環境變數立即生效，命令如下：

. /etc/profile

　　接著，我們輸入：java -version 驗證即可。

　　注：Linux環境下同樣需要配置Maven環境，IDE可以使用下面Mac OS X的IDE。

  • Mac OS X

　　Mac系統下面直接安裝下載好的dmg檔案，安裝檔案路徑如圖所示：

　　驗證截圖：

　　安裝Maven環境：

　　下載地址如下所示：

　　maven下載

　　安裝命令如下所示：

$ cd /usr/local 
$ sudo mv /Users/dengjie/Downloads/apache-maven-3.2.3-bin.tar.gz ./ 
$ sudo tar -xvf apache-maven-3.2.3-bin.tar.gz

 　　配置：

$ vi /etc/profile 

#Add below lines in the profile 
export M2_HOME=/usr/local/apache-maven-3.2.3 
export PATH=$PATH:$M2_HOME/bin 

#save and quit 
$ . /etc/profile

　　驗證截圖：

　　IDE

　　IDE使用Redhat公司推出的JBoss Studio（Eclipse的升級版），下載地址如下：

　　JBoss Developer Studio 8.0.0.GA

3.原始碼準備

　Hadoop2的原始碼分析，整個流程都是基於Mac OS X系統下來完成的。Linux系統基本配置可以參考Mac OS X配置，Windows系統IDE可以使用JBoss Studio（需要Windows系統下安裝JDK）。

　首先我們來預覽一下Hadoop-2.6.0-src的原始碼目錄結構，如下圖所示：

3.1專案構建

　　分析hadoop2原始碼的方式有2種，一種方式是使用maven結構來分析閱讀Hadoop的原始碼，另一種方式使用一般的Java Project來分析閱讀。首先先贅述下一般的Java Project建立Hadoop的原始碼分析工程。如下圖所示：

  • Java Project

　　在完成Hadoop的原始碼匯入後，我們還需要新增一些依賴 jar 包，在直接在Hadoop-2.6.0的share/hadoop目錄下將依賴包取出新增到IDE環境變數。如下圖所示：

　　另外，若需要的依賴 jar 不存在，可在Hadoop共享的Maven倉庫去下載對應的依賴 jar，下載地址：

http://maven.outofmemory.cn/org.apache.hadoop/
  • Maven結構

　　若使用Maven結構，可直接匯入Hadoop的原始碼檔案，Hadoop-2.6.0-src工程就算Maven結構的。匯入過程如下圖所示：

　　

　　在點選 Finish 按鈕後，會根據 pom.xml 檔案中的依賴下載對應的 jar 到本地Maven倉庫，首次匯入需要下載的依賴 jar 包較多，時間會有點長，請耐心等待下載完成。

4.總結

　　整個Hadoop2原始碼的專案匯入完成後，將近有100子專案，由於專案檔案較多，在分析閱讀的時候需要認真謹慎。在匯入Hadoop2原始碼到IDE中的時候，專案結構我給出了2種方式：一般的Java Project結構和Maven結構，當然這個是可以根據自己實際情況來考慮，若是對Maven結構不熟悉的同學，可以直接使用一般的Java Project工程結構來分析Hadoop2的原始碼，這個是不影響學習原始碼分析的；若是對Maven結構敢興趣，也可自行使用Maven結構來學習原始碼分析。

5.結束語

　　這篇Hadoop2原始碼分析的準備篇就和大家分享到這裡，若是在大家在學習研究的過程中有什麼問題，可以加群進行討論或傳送郵件給我，我會盡我所能為您解答，與君共勉！

 

相關文章