Pig 的安裝與測試
下載Pig連結: pig.apache.org
目前最新版本 0.12.1 ,我使用的版本是0.12.0
準備工作:
1.安裝Pig前,要安裝部署好Hadoop分散式叢集。
2.下載好pig,版本自選
3.安裝位置,我選擇的是Namenode主機
安裝步驟:
(一) 下載並解壓pig安裝包
(二) 編輯環境變數
1. 設定PATH,增加指向hadoop/bin
2. 這是PIG_CLASSPATH 環境變數
3. 設定PATH,增加指向pig/bin
4. 新增JAVA_HOME環境變數
編輯好後重新登陸,使得環境變數生效。
(三) 測試啟動grunt shell
執行一些命令列,檢測部署成功
測試Pig latin語句
常用語句:
LOAD : 指出載入資料的方法
FOREACH:逐行掃描進行某種處理
FILTER:過濾行
DUMP:把結果顯示到螢幕
STORE:把結果儲存到檔案
通常書寫執行順序:
LOAD ——〉FOREACH——〉STORE
測試檔案內容如下 :詞條組,詞條
Setp1. LOAD 格式化裝載資料
A =LOAD '/user/criss/in/pig_test.txt' USING
PigStorage(',') as (code_group,work);
DUMP A;
Step2. FOREACH 求片語詞條數
B =FOREACH(GROUP A BY code_group) GENERATE group AS code_group,COUNT(A);
DUMP B;
Step3. 把結果儲存到檔案
STORE B INTO '/user/criss/out/pig_B_res.txt' USING PigStorage(' ');
關於更多的Pig語法:
可參考:http://www.cnblogs.com/siwei1988/archive/2012/08/06/2624912.html來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/28929558/viewspace-1191677/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Apache Pig 系列 一 [PIG的安裝]Apache
- app的安裝與解除安裝測試點APP
- 介面測試:postman的安裝與使用Postman
- 1. mysql的安裝與測試MySql
- GoldenGate的安裝、配置與測試Go
- PIG之 Hadoop 2.7.4 + pig-0.17.0 安裝Hadoop
- Hadoop之Pig安裝Hadoop
- 【STATSPACK】Statspack安裝、測試與使用
- Windows下的Memcache安裝與測試教程Windows
- 安裝與配置MySQL,phpmyAdmin;安裝與測試PHPLIB (轉)MySqlPHP
- Pig安裝及入門案例
- windows下openldap的安裝與java操作測試WindowsLDAJava
- PIG安裝配置及案例應用
- 【實驗】【STATSPACK】Statspack 安裝、測試與使用
- kaldi 的安裝及測試
- 安裝測試kafkaKafka
- memcached安裝測試
- mq安裝測試MQ
- sqlserver 安裝測試SQLServer
- coreseek實戰(一):windows下coreseek的安裝與測試Windows
- MQTT系列實踐一 EMQTT安裝與測試MQQT
- pyflink的安裝和測試
- OGG安裝測試
- 測試安裝是否成功
- JMeter (1) —— JMeter與WebDriver安裝與測試(101 Tutorial)JMeterWeb
- Apache下壓力測試工具ab安裝與使用Apache
- 自動化測試之:Jenkins安裝與部署Jenkins
- cloudera 5 的安裝測試步驟Cloud
- 三十七、Flume的安裝及測試
- sysbench的安裝和做效能測試
- 測試與封裝5.1封裝
- 測試與封裝5.1.5.2封裝
- 5.2 測試與封裝封裝
- 5.1封裝與測試封裝
- 【MySQL】Tokudb安裝測試初探MySql
- vue測試安裝和配置Vue
- MHA安裝搭建和測試
- Django 測試是否安裝成功Django