15【線上日誌分析】之基於Spark Streaming+Saprk SQL開發OnLineLogAanlysis2（Final）

hackeruncle發表於2017-02-09
SparkSQL
1.influxdb建立database
[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339
Connected to version 1.2.0
InfluxDB shell version: 1.2.0
>create database online_log_analysis
 
2.專案中原本想將 influxdb-java 的InfluxDBTest.java 檔案的加到專案中，所以必須要引入 influxdb-java 的包；
但是由於GitHub的上的class檔案的某些方法，是版本是2.6，而maven中的最高也就2.5版本，所以將Github的原始碼下載匯入到idea中，編譯匯出2.6.jar包；
可是 引入2.6jar包，其在InfluxDBTest.class檔案的 無法import org.influxdb（百度谷歌很長時間，嘗試很多方法不行）。
最後索性將 influx-java的原始碼全部新增到專案中即可，如下圖所示。
 
3.執行OnLineLogAanlysis2.java

15【線上日誌分析】之基於Spark Streaming+Saprk SQL開發OnLineLogAanlysis2（Final）
 
比如 logtype_count,host_service_logtype=hadoopnn-01_namenode_WARN count=12
logtype_count 是表
host_service_logtype=hadoopnn-01_namenode_WARN 是 tag--標籤，在InfluxDB中，tag是一個非常重要的部分，表名+tag一起作為資料庫的索引，是“key-value”的形式。 
count=12 是  field--資料，field主要是用來存放資料的部分，也是“key-value”的形式。
tag、field 中間是要有空格的
 
4.influxdb查詢資料 
 15【線上日誌分析】之基於Spark Streaming+Saprk SQL開發OnLineLogAanlysis2（Final）
15【線上日誌分析】之基於Spark Streaming+Saprk SQL開發OnLineLogAanlysis2（Final）

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30089851/viewspace-2133325/，如需轉載，請註明出處，否則將追究法律責任。

相關文章