全網最詳細Apache Kylin1.5安裝(單節點)和測試案例
1.版本(當前實驗版本組合,版本一定要相容,否則各種問題)
Hadoop2.7.2+HBase1.1.5+Hive2.0.0
kylin-1.5.2.1 (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz)
2.Hadoop環境編譯以支援Snappy解壓縮庫
重新編譯hadoop-2.7.2-src的native以支援Snappy解壓壓縮庫
3.環境準備
Hadoop-2.7.2+zookeeper-3.4.6完全分散式環境搭建(HDFS、YARN HA)
Hadoop2.7實戰v1.0之HBase1.1.5 HA分散式搭建
配置Hadoop2.7.2和Hbase1.1.5支援Snappy解壓壓縮庫
Hadoop2.7實戰v1.0之Hive-2.0.0+MySQL本地模式安裝
4. 配置Hadoop2.7.2和Hbase1.1.5支援Snappy解壓壓縮庫
5. 主機規劃
IP Host 安裝軟體 程式
172.16.101.55 sht-sgmhadoopnn-01 apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz RunJar
6. 新增hive_dependency和KYLIN_HOME環境變數
點選(此處)摺疊或開啟
-
[root@sht-sgmhadoopnn-01 ~]# vi /etc/profile
-
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
-
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
-
-
export HADOOP_HOME=/hadoop/hadoop
-
export HBASE_HOME=/hadoop/hbase
-
export ZOOKEEPER_HOME=/hadoop/zookeeper
-
-
export HIVE_HOME=/hadoop/hive
-
export hive_dependency=/hadoop/hive/conf:/hadoop/hive/lib/*:/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar
-
-
export KYLIN_HOME=/hadoop/kylin
-
-
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$PATH
-
-
"/etc/profile" 99L, 2592C written
- [root@sht-sgmhadoopnn-01 ~]# source /etc/profile
7.同步/etc/profile到叢集其他節點,生效
8.下載安裝配置kylin
點選(此處)摺疊或開啟
-
# 在sht-sgmhadoopnn-01上執行以下命令
-
[root@sht-sgmhadoopnn-01 ~]# cd /hadoop
-
[root@sht-sgmhadoopnn-01 hadoop]# wget https://dist.apache.org/repos/dist/release/kylin/apache-kylin-1.5.2.1/apache-kylin-1.5.2.1-HBase1.x-bin.tar.gz
-
[root@sht-sgmhadoopnn-01 hadoop]# tar -zxvf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
-
[root@sht-sgmhadoopnn-01 hadoop]# ln -s /hadoop/apache-kylin-1.5.2.1-bin /hadoop/kylin
-
-
[root@sht-sgmhadoopnn-01 hadoop]# vi /hadoop/kylin/bin/kylin.sh
-
export KYLIN_HOME=/hadoop/kylin # 改成絕對路徑
- export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX #在路徑中新增$hive_dependency
9.修改kylin.properties
點選(此處)摺疊或開啟
-
[root@sht-sgmhadoopnn-01 conf]# vi $KYLIN_HOME/conf/kylin.properties
-
######修改
-
# List of web servers in use, this enables one web server instance to sync up with other servers.
-
kylin.rest.servers=sht-sgmhadoopnn-01:7070
-
######新增
-
kylin.job.jar=$KYLIN_HOME/lib/kylin-job-1.5.2.1.jar
- kylin.coprocessor.local.jar=$KYLIN_HOME /lib/kylin-coprocessor-1.5.2.1.jar
[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh start
.........
.........
KYLIN_DEBUG_SETTINGS is not set, will not enable remote debuging
KYLIN_LD_LIBRARY_SETTINGS is not set, Usually it's okay unless you want to specify your own native path
A new Kylin instance is started by root, stop it using "kylin.sh stop"
Please visit <a href="
You can check the log at /hadoop/kylin/logs/kylin.log<a href="
You can check the log at
### 賬號: ADMIN 密碼:KYLIN
11.檢查kylin是否啟動成功
點選(此處)摺疊或開啟
12.匯入官網測試案例
點選(此處)摺疊或開啟
2>.在'Monitor'標籤中透過重新整理頁面檢查進度條,直到100%
3>.在'Insight'標籤中執行下面的SQL查詢:
Build成功後,hive中建立了3+n個表,如圖所示(3個官網案例hive表,n個build的hive表)
Build成功後,hbase中建立了1+n個表,如圖所示(1個後設資料表,n個build的hbase表)
You can check the log at
1>.選中'kylin_sales_cube'示例立方體,點選'Actions'->'Build',選擇一個截止日期,本試驗中選擇的是'2016-01-10'
(具體小時,分,秒隨便選,因為最終hive sql的語句類似 WHERE (KYLIN_SALES.PART_DT >= '2012-01-01' AND KYLIN_SALES.PART_DT < '2016-01-10');)
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;
###耗時2.87s
4>.在hive中執行同一個SQL查詢,驗證kylin的查詢結果(會開啟MapReduce Job計算)
###耗時65.205s
查詢執行和結果如圖所示
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30089851/viewspace-2121221/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 全網最詳細的PyCharm+Anaconda的安裝。PyCharm
- Java-全網最詳細反射Java反射
- greenplum單節點安裝
- 全網最詳bpmn.js教材-編輯、刪除節點篇JS
- vertica單節點安裝教程
- 全網最!詳!細!Tarjan演算法講解。演算法
- CentOS 6.6安裝單節點FastDFSCentOSAST
- 可能是全網最詳細的 Spring Cloud OAuth2 單點登入使用教程了SpringCloudOAuth
- Apache Kylin1.5.2.1之訂單案例詳細構建流程Apache
- Hadoop2.2.0多節點分散式安裝及測試Hadoop分散式
- 全網最詳細的負載均衡原理圖解負載圖解
- InnoSetup簡單教程一,安裝使用和簡單測試
- 大資料學習初級入門教程(八) —— Elasticsearch 7.6.2 單節點的安裝、啟動和測試大資料Elasticsearch
- CentOS 6.6安裝單節點Redis 3.0.3CentOSRedis
- 單節點10.2.0.4RAC安裝
- PHP5.2.3+apache2.2.4的最簡單安裝方法PHPApache
- app的安裝與解除安裝測試點APP
- 可能是全網最詳細的express--middlewareExpress
- 最詳細的測試用例設計方法講解
- linux下安裝redis 單節點安裝操作步驟LinuxRedis
- 年底晉升,全網最詳細的通關指南來了!
- 3.05 EOS單點測試網路
- vue測試安裝和配置Vue
- ltp測試操作步詳解(壓力測試網站最詳、下載、使用)網站
- H5網頁應用打包安卓App (全網最詳細教程)H5網頁安卓APP
- 安裝JDK和Eclipse詳細教程JDKEclipse
- IIS的安裝和詳細配置--【ITOO】
- Apache下壓力測試工具ab安裝與使用Apache
- hadoop叢集多節點安裝詳解Hadoop
- ldap安裝詳細LDA
- 全網最詳細最齊全的序列化技術及深度解析與應用實戰
- Linux Centos 7安裝MongoDB(簡單!詳細!)LinuxCentOSMongoDB
- 全網最詳細的AbstractQueuedSynchronizer(AQS)原始碼剖析(一)AQS基礎AQS原始碼
- 全網最快的M1 MacBook Air詳細測評MacAI
- Linux安裝和配置zokeeper 詳細教程Linux
- 【GO】MAC安裝和測試GoGoMac
- pyflink的安裝和測試
- 網站效能壓力測試工具:Apache ab使用詳解網站Apache