宜信開源|大資料可視洞察Davinci的安裝與配置攻略
Davinci既可作為公有云/私有云獨立使用,也可作為視覺化外掛整合到三方系統。使用者只需在視覺化UI上簡單配置即可服務多種資料視覺化應用,並支援高階互動/行業分析/模式探索/社交智慧等視覺化功能。
一、環境準備
- JDK 1.8(或更高版本)
- MySql5.5(或更高版本)
- Mail Server
- PhantomJs(安裝請參考:phantomjs.org)
- Redis(可選)
二、配置部署
1) 初始化目錄,將下載好的 Davinci 包(Release 包,不是 Source 包)解壓到某個系統目錄,如:~/app/davinci
cd ~/app/davinci unzip davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist.zip
解壓後目錄結構如下圖所示:
2) 配置環境變數,將上述解壓後的目錄配置到環境變數 DAVINCI3_HOME
export DAVINCI3_HOME=~/app/davinci/davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist
3) 初始化資料庫,修改 bin 目錄下 initdb.sh 中要的資料庫資訊為要初始化的資料庫,如 davinci0.3
mysql -P 3306 -h localhost -u root -proot davinci0.3 < $DAVINCI3_HOME/bin/davinci.sql
執行指令碼初始化資料庫(注:由於 Davinci0.3 系統資料庫中包含儲存過程,請務必在建立資料庫時賦予執行許可權)。**
sh bin/initdb.sh
4) 初始化配置,Davinci0.3 的配置主要包括:server、datasource、mail、phantomjs、cache 等配置
進入config目錄,將application.yml.example重新命名為application.yml 後開始配置。
cd config mv application.yml.example application.yml
注:由於0.3版本使用 ymal 作為應用配置檔案格式,請務必確保每個配置項鍵後的冒號和值之間至少有一個空格
server 配置
server: protocol: http address: 127.0.0.1 port: 8080 access: address: 192.168.1.1 port: 80
server 配置如上示例所示,server.access.address和server.access.port表示真實訪問地址和埠,預設不開啟,其值預設為server.address和server.port。
如你在虛擬主機上部署 Davinci,啟動埠為8080,該主機真實訪問IP地址為192.168.1.1,你將虛擬主機的8080埠對映到80埠,則需開啟 access 配置項,否則將不能正常使用 Davinci 的部分功能,如啟用賬號、下載、分享等。
datasource 配置
這裡的 datasource 配置指 Davinci 系統的資料來源,配置如下:
spring: datasource: url: jdbc:mysql://localhost:3306/davinci0.3?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true username: root password: root driver-class-name: com.mysql.jdbc.Driver initial-size: 2 min-idle: 1 max-wait: 60000 max-active: 10
將上一步初始化的資料庫地址配置到url中,url 中的引數不要做任何修改,然後修改正確的資料庫訪問使用者和密碼即username和password。
initial-size、min-idle、max-wait、max-active是連線池引數,具體屬性請參考DruidDataSource配置屬性列表
mail 配置
注:0.3 版本使用者採用註冊啟用的方式維護,所以 mail 配置是此版本必不可少的,且 mail 配置出錯率較高,請務必注意
spring: mail: host: smtp.****.com port: 25 username: example@***.com password: example_password nickname: Davinci properties: smtp: starttls: enable: true required: true auth: true mail: smtp: ssl: enable: false
mail 配置並不複雜,以上就是完整的 mail 配置了,username為郵箱地址,password郵箱服務密碼,需要注意的是常見免費郵箱(如 163 郵箱、QQ 郵箱、gmail 等)這裡應填客戶端獨立密碼,可前往對應郵箱賬號設定頁面開啟 SMTP 服務,並申請客戶端授權碼(或獨立密碼,各郵箱提供商叫法不同)。
下表為常見免費郵箱 SMTP 服務地址及埠:
phantomjs 配置
phantomjs 是用來定時傳送報表截圖的,只需要配置安裝好的 phantomjs 可執行檔案地址即可,如:
phantomjs_home: /usr/local/bin/phantomjs
cache 配置(可選)
cache 這裡用 redis 作為快取服務,配置如下:
spring: redis: isEnable: false host: 10.143.131.119 port: 6379 # cluster: # nodes: password: database: 0 timeout: 1000 jedis: pool: max-active: 8 max-wait: 1 max-idle: 8 min-idle: 0
如果要開啟 cache 服務,請將isEnable設為true,並要設定相關配置(單機方式請開啟host和port,叢集方式請開啟cluster配置項,二者只能選擇一種)。
其他配置
日誌配置檔案為config/logback.xml,如當前的日誌配置不能滿足你的要求,可自定義配置日誌模式。
三、資料來源配置
Davinci0.3 理論上支援所有有 JDBC 的資料來源,我們預設支援的資料來源有:
資料來源名稱 | 驅動類 |
---|---|
mysql | com.mysql.jdbc.Driver |
oracle | oracle.jdbc.driver.OracleDriver |
sqlserver | com.microsoft.sqlserver.jdbc.SQLServerDriver |
h2 | org.h2.Driver |
phoenix | org.apache.phoenix.jdbc.PhoenixDriver |
mongodb | mongodb.jdbc.MongoDriver |
elasticSearch – presto | com.facebook.presto.jdbc.PrestoDriver |
moonbox | moonbox.jdbc.MbDriver |
cassandra | com.github.adejanovski.cassandra.jdbc.CassandraDriver |
clickhouse | ru.yandex.clickhouse.ClickHouseDriver |
kylin | org.apache.kylin.jdbc.Driver |
vertica | com.vertica.jdbc.Driver |
hana | com.sap.db.jdbc.Driver |
impala | com.cloudera.impala.jdbc41.Driver |
值得注意的是,Davinci 內部只提供了 MySql 的驅動包,也就是說,如果你要使用其他資料來源,還需將對應驅動jar 包手動複製到lib目錄並重新啟動 Davinci 服務;Davinci 連線 ElasticSearch 目前使用 NLPchina提供的elasticsearch-sql,系統內部預設 ElasticSearch 版本為5.3.2,對應的 elasticsearch-sql 版本是5.3.2.0。
同理,如果你的 ElasticSearch 不是5.3.2,首先需要你手動下載 NLPchina 提供的對應版本的 jar,然後替換掉目前lib下的 jar,包括elasticsearch-xxx.jar、transport-xxx.jar、x-pack-api-xxx.jar、 x-pack-transport-xxx.jar、elasticsearch-sql-XXX.jar(xxx表示你的 ElasticSearch 版本號,XXX表示NLPchina 對應 elasticsearch-sql 版本號)。
另外值得注意的是,如果你的資料來源不在以上列表中,也可以透過自定義配置注入資料來源,否則沒必要開啟,除非你知道在做什麼:
1)開啟自定義資料來源配置檔案
mv datasource_driver.yml.example datasource_driver.yml
2)如下配置你的資料來源,這裡以 postgresql 為例
postgresql: name: postgresql desc: postgresql driver: org.postgresql.Driver keyword_prefix: keyword_suffix: alias_prefix: \" alias_suffix: \"
注意
-
keyword_prefix和keyword_suffix表示關鍵字字首和字尾,假設使用 mysql 資料庫,並將desc關鍵字作為欄位使用,那麼你的查詢語句應該是:select
desc
from table 這裡的 ‘`’ 就是前字尾,它們必須成對被配置,可以都為空。 -
alias_prefix和alias_suffix表示別名前字尾,仍以 mysql 為例,假設你的 sql 語句如下:select column as '列' from table 。這裡為 ‘column’ 起了別名為‘列’,那麼‘’’將作為前字尾配置,前字尾必須成對被配置,可以都為空。
-
對於以上別名配置,你可以使用''將字元包起來,也可以使用轉移符\,二者只能出現一種。
3)手動將相應的驅動 jar 包複製到lib目錄下。
4)重啟 Davinci 服務。
:
:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69918724/viewspace-2652226/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 宜信開源|手把手教你建立第一個Davinci應用
- 宜信開源|漏洞管理平臺『洞察』的設計理念和平臺功能
- 宜信開源|手把手教你安裝第一個LAIN應用AI
- 資料視覺化第8篇:linux安裝davinci之davinci視覺化Linux
- 強大的開源企業級資料監控利器Lepus安裝與配置管理
- 宜信的105條資料庫軍規資料庫
- 【MySQL資料庫】MySQL5.7安裝與配置、視覺化工具安裝和破解MySql資料庫視覺化
- 【流沙】宜信安全資料平臺實踐
- CentOS下Mysql資料庫的安裝與配置CentOSMySql資料庫
- 透視開源生態,OSGraph——GitHub全域資料圖譜的智慧洞察工具Github
- 【Database】可選的資料來源配置項Database
- 大資料小視角2:ORCFile與Parquet,開源圈背後的生意大資料
- Oracl資料庫+PL/SQL安裝與配置資料庫SQL
- jpcap安裝與配置、資料包攔截PCA
- 宜信開源微服務任務排程平臺(SIA-TASK)微服務
- 大資料視覺化服務平臺Davinci上榜2019年度最受歡迎中國開源軟體大資料視覺化
- 本地windows搭建spark環境,安裝與詳細配置(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)WindowsSparkJDKHadoop
- 開源的資料視覺化平臺 Kibana 日誌視覺化 mac 安裝筆記視覺化Mac筆記
- pip安裝源配置
- postgresql安裝過程中核心資源的配置SQL
- centos7 (阿里雲、linux) 單機spark的安裝與配置詳解(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)CentOS阿里LinuxSparkJDKHadoop
- DolphinScheduler快速上手:基於Docker Compose的安裝與配置全攻略Docker
- 大資料專欄 - 基礎1 Hadoop安裝配置大資料Hadoop
- Hive的安裝與配置Hive
- PG的安裝與配置
- yum的安裝與配置
- Redis的安裝與配置Redis
- Vue的安裝與配置Vue
- C++ Qt開發:Qt的安裝與配置C++QT
- 安裝配置開源的laravel專案到本地環境Laravel
- 安裝與配置Flutter開發環境Flutter開發環境
- WAS與IHS整合的安裝與配置
- linux下Apache+PHP+MySQL安裝配置攻略LinuxApachePHPMySql
- Oracle i-Learing 安裝配置全攻略。。。Oracle
- 宜信盧山巍:資料中臺的“自動化資料治理”時代已來
- 宜信智慧監控平臺建設實踐|宜信技術沙龍
- 資料安全能力獲認可!Smartbi入選中國信通院“卓信大資料計劃”大資料
- 大快搜尋的大資料一體化開發框架下的大資料爬蟲安裝教程大資料框架爬蟲