使用Docker快速安裝部署ES和Kibana並配置IK中文分詞器以及自定義分詞擴充詞庫
使用Docker快速安裝部署ES和Kibana的前提:首先需要確保已經安裝了Docker環境
如果沒有安裝Docker的話,可以參考上一篇的內容:Linux上安裝Docker
有了Docker環境後,就可以使用Docker安裝部署ES和Kibana了
一、安裝部署ES和Kibana
1、下載ealastic search和kibana(es的視覺化管理頁面)
docker pull elasticsearch:7.6.2
docker pull kibana:7.6.2
2、配置
mkdir -p /mydata/elasticsearch/config
mkdir -p /mydata/elasticsearch/data
echo "http.host: 0.0.0.0" >/mydata/elasticsearch/config/elasticsearch.yml
chmod -R 777 /mydata/elasticsearch/
3、啟動ES
注意:下邊這個啟動es的命令,一定要設定佔用的記憶體,不設定的話,es一啟動就把虛擬機器的整個記憶體耗盡了,會當機!!!
docker run --name elasticsearch -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx512m" \
-v/mydata/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.6.2
設定開機啟動ES
docker update elasticsearch --restart=always
4、啟動Kibana
docker run --name kibana -e ELASTICSEARCH_HOSTS=http://192.168.56.10:9200 -p 5601:5601 -d kibana:7.6.2
設定開機啟動Kibana
docker update kibana --restart=always
5、測試
瀏覽器輸入:http://192.168.xx.xx:9200,看到以下頁面說明ES部署成功
瀏覽器輸入:http://192.168.xx.xx:5601,看到以下頁面說明Kibana部署成功
二、配置IK中文分詞器
安裝好ES和Kibana後,進入Kibana操作頁面,使用ES預設的分詞器來試一下,中文的分詞效果
可以看到ES自帶的分詞器,它是簡單的把每個漢字進行了分詞,這肯定不是我們想要的效果
所以,我們需要自己來配置一下對中文分詞支援比較好的IK分詞器
IK分詞器外掛下載:https://pan.baidu.com/s/1Ie2fPooSd8QK8DLNQR-XbA 提取碼:vszn
cd /mydata/elasticsearch/plugins 進入plugins目錄
然後在es的 plugins目錄下
mkdir ik 新建一個名字叫 ik 的資料夾
將下載的ik分詞器外掛壓縮包上傳到ik資料夾下,然後解壓zip 就ok了
最後給一下ik資料夾的許可權 chmod -R 777 /mydata/elasticsearch/plugins/ik
安裝好後,檢查下是否安裝成功了
使用docker exec -it elasticsearch /bin/bash 命令 進入容器內部
進入容器的 cd /usr/share/elasticsearch/bin 目錄
執行 elasticsearch-plugin list 命令(列出es安裝的所有外掛)
如果列出了 ik 就說明es的ik中文分詞器安裝成功了
裝好ik分詞器後,記得重啟ES容器
docker restart elasticsearch
配置好IK分詞器後,再來用IK分詞器看下效果
可以看到IK分詞器對我們的中文進行了比較理想的分詞
三、配置自定義分詞擴充詞庫
IK分詞器對中文有比較好的分詞效果,但是它並不能對當前比較熱門的網路流行詞或者一些新的詞進行分詞處理
上圖可以看到,IK分詞器並不支援某一些詞彙的分詞處理
所以,我們需要配置一下自定義的分詞擴充詞庫,來支援熱門的網路流行詞或新詞。
1、配置自定義詞庫需要nginx的支援,首先需要安裝好nginx
如果沒有安裝nginx的話,可以參考這個:使用Docker快速安裝部署nginx
2、安裝後nginx後,下邊開始配置自定義的分詞擴充詞庫
[root@192 ~]# cd /mydata/nginx/html/
[root@192 html]#
[root@192 html]# mkdir es
[root@192 html]# cd es
[root@192 html]# vi fenci.txt
在/mydata/nginx/html/ 目錄下新建一個es資料夾,然後新建一個fenci.txt的檔案,在裡邊寫需要支援分詞的詞彙,然後儲存
3、配置IK的擴充詞庫
cd /usr/share/elasticsearch/plugins/ik/config
vim IKAnalyzer.cfg.xml
#把裡邊註釋掉的這一句開啟並配置成你分詞文字所在的nginx訪問地址
<!--使用者可以在這裡配置遠端擴充套件字典 -->
<entry key="remote_ext_dict">http://192.168.xx.xx/es/fenci.txt</entry>
4、重啟ES容器
docker restart elasticsearch
重啟後,再來看下效果
可以看到已經可以按照自定義的分詞擴充詞庫來進行分詞了
ES的一些基本配置就講到這,如果覺得對你有幫助的話,可以點贊,或者點下關注,也歡迎在下方留言討論
相關文章
- elasticsearch之ik分詞器和自定義詞庫實現Elasticsearch分詞
- elasticsearch安裝和使用ik分詞器Elasticsearch分詞
- #Elasticsearch中文分詞器 #IK分詞器 @FDDLCElasticsearch中文分詞
- ElasticSearch7.3學習(十五)----中文分詞器(IK Analyzer)及自定義詞庫Elasticsearch中文分詞
- day88-ElasticSearch-分詞- 自定義擴充套件詞庫Elasticsearch分詞套件
- 中文分詞 PHP 擴充套件 SCWS 安裝中文分詞PHP套件
- 使用cjieba(結巴分詞庫)實現php擴充套件中文分詞JiebaPHP套件中文分詞
- IK 分詞器分詞
- Elasticsearch學習系列一(部署和配置IK分詞器)Elasticsearch分詞
- es 自定義分詞外掛分詞
- Elasticsearch IK分詞器Elasticsearch分詞
- ElasticSearch-IK分詞器和整合使用Elasticsearch分詞
- 如何在laradock中安裝ik分詞器分詞
- Kibana的Dev Tools中建立自定義分詞器dev分詞
- linux單機es7.8、kibana7.8加ik分詞部署詳細Linux分詞
- FlinkSQL使用自定義UDTF函式行轉列-IK分詞器SQL函式分詞
- ElasticSearch中使用ik分詞器進行實現分詞操作Elasticsearch分詞
- IK 分詞器外掛分詞
- ES[7.6.x]學習筆記(七)IK中文分詞器筆記中文分詞
- 使用cjieba(結巴分詞庫)實現php擴充套件中文分詞-支援php5, php7JiebaPHP套件中文分詞
- 中文分詞原理及常用Python中文分詞庫介紹中文分詞Python
- es筆記四之中文分詞外掛安裝與使用筆記中文分詞
- elasticsearch教程--中文分詞器作用和使用Elasticsearch中文分詞
- Elasticsearch使用系列-ES增刪查改基本操作+ik分詞Elasticsearch分詞
- Helm3安裝帶有ik分詞的ElasticSearch分詞Elasticsearch
- 小白折騰伺服器(十):docker 下安裝 Elasticsearch+ik 分詞外掛伺服器DockerElasticsearch分詞
- 安裝PHPscws分詞擴充套件時候遇到的坑PHP分詞套件
- Solr:Slor初識(概述、Windows版本的安裝、新增IK分詞器)SolrWindows分詞
- Elasticsearch 近義詞詞庫配置Elasticsearch
- 自己動手製作elasticsearch的ik分詞器的Docker映象Elasticsearch分詞Docker
- python使用jieba實現中文文件分詞和去停用詞PythonJieba分詞
- 中文分詞器,整理自Ai中文分詞AI
- ElasticSearch7.6.2在windows上如何配置ik分詞器與用法ElasticsearchWindows分詞
- 古詩詞 中文 分詞 自動化分詞
- jieba 詞性標註 & 並行分詞Jieba詞性標註並行分詞
- 中文分詞研究難點-詞語劃分和語言規範中文分詞
- Python:Python 中 jieba 庫的使用(中文分詞)PythonJieba中文分詞
- MapReduce實現與自定義詞典檔案基於hanLP的中文分詞詳解HanLP中文分詞