PIG之 Hadoop 2.7.4 + pig-0.17.0 安裝

首先: 參考 http://blog.csdn.net/zhang123456456/article/details/77621487 搭建好hadoop叢集。 然後，在master節點安裝pig。

 

我們用MapReduce進行資料分析。當業務比較複雜的時候，使用MapReduce將會是一個很複雜的事情，比如你需要對資料進行很多預處理或轉換，以便能夠適應MapReduce的處理模式,另一方面，編寫MapReduce程式，釋出及執行作業都將是一個比較耗時的事情。
Pig的出現很好的彌補了這一不足。Pig能夠讓你專心於資料及業務本身，而不是糾結於資料的格式轉換以及MapReduce程式的編寫。本質是上來說，當你使用Pig進行處理時，Pig本身會在後臺生成一系列的MapReduce操作來執行任務，但是這個過程對使用者來說是透明的。
Pig的安裝
Pig作為客戶端程式執行，即使你準備在Hadoop叢集上使用Pig，你也不需要在叢集上做任何安裝。Pig從本地提交作業，並和Hadoop進行互動。
1）下載Pig
前往 下載合適的版本，比如 pig-0.17.0.tar.gz
2）解壓檔案到合適的目錄
[root@hadp-node1 hadoop]# tar -zxvf pig-0.17.0.tar.gz -C /usr/local/hadoop/
3）設定環境變數
export PIG_HOME=/usr/local/hadoop/pig-0.17.0
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop/ #顯式設定HADOOP_HOME變數，確保庫和你實際使用的HADOOP版本相容

export PATH=$PATH:$PIG_HOME/bin
如果沒有設定JAVA環境變數，此時還需要設定JAVA_HOME，比如：
export JAVA_HOME=/usr/local/jdk1.7.0_51
說明：
PIG_CLASSPATH變數 是PIG配置MapReduce模式，讓Pig軟體找到Hadoop叢集，這裡是告訴pig軟體hadoop的配置檔案在哪裡，透過一系列配置檔案core_site.xml hdfs-site.xml mapred-site.xml 可以找到關鍵引數NameNode 和 JobTracker 的位置以及埠資訊，有了這些資訊就可以對整個叢集進行控制了。

4）驗證
執行以下命令，檢視Pig是否可用：如圖，可用
pig –help