本文不涉及ElasticSearch具體原理,只記錄如何快速的匯入mysql中的資料進行全文檢索。
工作中需要實現一個搜尋功能,並且匯入現有資料庫資料,組長推薦用ElasticSearch實現,網上翻一通教程,都是比較古老的文章了,無奈只能自己摸索,參考ES的文件,總算是把服務搭起來了,記錄下,希望有同樣需求的朋友可以少走彎路,能按照這篇教程快速的搭建一個可用的ElasticSearch服務。
ES的搭建
ES搭建有直接下載zip檔案,也有docker容器的方式,相對來說,docker更適合我們跑ES服務。可以方便的搭建叢集或建立測試環境。這裡使用的也是容器方式,首先我們需要一份Dockerfile:
FROM docker.elastic.co/elasticsearch/elasticsearch-oss:6.0.0
# 提交配置 包括新的elasticsearch.yml 和 keystore.jks檔案
COPY --chown=elasticsearch:elasticsearch conf/ /usr/share/elasticsearch/config/
# 安裝ik
RUN ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip
# 安裝readonlyrest
RUN ./bin/elasticsearch-plugin install https://github.com/HYY-yu/BezierCurveDemo/raw/master/readonlyrest-1.16.14_es6.0.0.zip
USER elasticsearch
CMD ./bin/elasticsearch
複製程式碼
這裡對上面的操作做一下說明:
- 首先在Dockerfile下的同級目錄中需要建立一個conf資料夾,儲存elasticsearch.yml檔案(稍後給出)和keystore.jks。(jks是自簽名檔案,用於https,如何生成請自行搜尋)
- ik是一款很流行的中文分詞庫,使用它來支援中文搜尋。
- readonlyrest是一款開源的ES外掛,用於使用者管理、安全驗證,土豪可以使用ES自帶的X-pack包,有更完善的安全功能。
elactic配置 elasticsearch.yml
cluster.name: "docker-cluster"
network.host: 0.0.0.0
# minimum_master_nodes need to be explicitly set when bound on a public IP
# set to 1 to allow single node clusters
# Details: https://github.com/elastic/elasticsearch/pull/17288
discovery.zen.minimum_master_nodes: 1
# 禁止系統對ES交換記憶體
bootstrap.memory_lock: true
http.type: ssl_netty4
readonlyrest:
enable: true
ssl:
enable: true
keystore_file: "server.jks"
keystore_pass: server
key_pass: server
access_control_rules:
- name: "Block 1 - ROOT"
type: allow
groups: ["admin"]
- name: "User read only - paper"
groups: ["user"]
indices: ["paper*"]
actions: ["indices:data/read/*"]
users:
- username: root
auth_key_sha256: cb7c98bae153065db931980a13bd45ee3a77cb8f27a7dfee68f686377acc33f1
groups: ["admin"]
- username: xiaoming
auth_key: xiaoming:xiaoming
groups: ["user"]
複製程式碼
這裡
bootstrap.memory_lock: true
是個坑,禁止交換記憶體這裡文件已經說明了,有的os會在執行時把暫時不用的記憶體交換到硬碟的一塊區域,然而這種行為會讓ES的資源佔用率飆升,甚至讓系統無法響應。
配置檔案裡已經很明顯了,一個root使用者屬於admin組,而admin有所有許可權,xiaoming同學因為在user組,只能訪問paper索引,並且只能讀取,不能操作。更詳細的配置請見:readonlyrest文件
至此,ES的準備工作算是做完了,docker build -t ESImage:tag
一下,docker run -p 9200:9200 ESImage:Tag
跑起來。
如果https://127.0.0.1:9200/返回
{
"name": "VaKwrIR",
"cluster_name": "docker-cluster",
"cluster_uuid": "YsYdOWKvRh2swz907s2m_w",
"version": {
"number": "6.0.0",
"build_hash": "8f0685b",
"build_date": "2017-11-10T18:41:22.859Z",
"build_snapshot": false,
"lucene_version": "7.0.1",
"minimum_wire_compatibility_version": "5.6.0",
"minimum_index_compatibility_version": "5.0.0"
},
"tagline": "You Know, for Search"
}
複製程式碼
我們本次教程的主角算是出場了,分享幾個常用的API調戲除錯ES用:
{{url}}替換成你本地的ES地址。
- 檢視所有外掛:{{url}}/_cat/plugins?v
- 檢視所有索引:{{url}}/_cat/indices?v
- 對ES進行健康檢查:{{url}}/_cat/health?v
- 檢視當前的磁碟佔用率:{{url}}/_cat/allocation?v
匯入MYSQL資料
這裡我使用的是MYSQL資料,其實其它的資料庫也是一樣,關鍵在於如何匯入,網上教程會推薦Logstash、Beat、ES的mysql外掛進行匯入,我也都實驗過,配置繁瑣,文件稀少,要是資料庫結構複雜一點,匯入是個勞心勞神的活計,所以並不推薦。其實ES在各個語言都有對應的API庫,你在語言層面把資料組裝成json,通過API庫傳送到ES即可。流程大致如下:
我使用的是Golang的ES庫elastic,其它語言可以去github上自行搜尋,操作的方式都是一樣的。
接下來使用一個簡單的資料庫做介紹:
Paper表
id | name |
---|---|
1 | 北京第一小學模擬卷 |
2 | 江西北京通用高考真題 |
Province表
id | name |
---|---|
1 | 北京 |
2 | 江西 |
Paper_Province表
paper_id | province_id |
---|---|
1 | 1 |
2 | 1 |
2 | 2 |
如上,Paper和Province是多對多關係,現在把Paper資料打入ES,,可以按Paper名稱模糊搜尋,也可通過Province進行篩選。json資料格式如下:
{
"id":1,
"name": "北京第一小學模擬卷",
"provinces":[
{
"id":1,
"name":"北京"
}
]
}
複製程式碼
首先準備一份mapping.json檔案,這是在ES中資料的儲存結構定義,
{
"mappings":{
"docs":{
"include_in_all": false,
"properties":{
"id":{
"type":"long"
},
"name":{
"type":"text",
"analyzer":"ik_max_word" // 使用最大詞分詞器
},
"provinces":{
"type":"nested",
"properties":{
"id":{
"type":"integer"
},
"name":{
"type":"text",
"index":"false" // 不索引
}
}
}
}
}
},
"settings":{
"number_of_shards":1,
"number_of_replicas":0
}
}
複製程式碼
需要注意的是取消_all欄位,這個預設的_all會收集所有的儲存欄位,實現無條件限制的搜尋,缺點是空間佔用大。
shard(分片)數我設定為了1,沒有設定replicas(副本),畢竟這不是一個叢集,處理的資料也不是很多,如果有大量資料需要處理可以自行設定分片和副本的數量。
首先與ES建立連線,ca.crt與jks自簽名有關。當然,在這裡我使用InsecureSkipVerify忽略了證書檔案的驗證。
func InitElasticSearch() {
pool := x509.NewCertPool()
crt, err0 := ioutil.ReadFile("conf/ca.crt")
if err0 != nil {
cannotOpenES(err0, "read crt file err")
return
}
pool.AppendCertsFromPEM(crt)
tr := &http.Transport{
TLSClientConfig: &tls.Config{RootCAs: pool, InsecureSkipVerify: true},
}
httpClient := &http.Client{Transport: tr}
//後臺構造elasticClient
var err error
elasticClient, err = elastic.NewClient(elastic.SetURL(MyConfig.ElasticUrl),
elastic.SetErrorLog(GetLogger()),
elastic.SetGzip(true),
elastic.SetHttpClient(httpClient),
elastic.SetSniff(false), // 叢集嗅探,單節點記得關閉。
elastic.SetScheme("https"),
elastic.SetBasicAuth(MyConfig.ElasticUsername, MyConfig.ElasticPassword))
if err != nil {
cannotOpenES(err, "search_client_error")
return
}
//elasticClient構造完成
//查詢是否有paper索引
exist, err := elasticClient.IndexExists(MyConfig.ElasticIndexName).Do(context.Background())
if err != nil {
cannotOpenES(err, "exist_paper_index_check")
return
}
//索引存在且通過完整性檢查則不傳送任何資料
if exist {
if !isIndexIntegrity(elasticClient) {
//刪除當前索引  準備重建
deleteResponse, err := elasticClient.DeleteIndex(MyConfig.ElasticIndexName).Do(context.Background())
if err != nil || !deleteResponse.Acknowledged {
cannotOpenES(err, "delete_index_error")
return
}
} else {
return
}
}
//後臺查詢資料庫,傳送資料到elasticsearch中
go fetchDBGetAllPaperAndSendToES()
}
複製程式碼
type PaperSearch struct {
PaperId int64 `gorm:"primary_key;column:F_paper_id;type:BIGINT(20)" json:"id"`
Name string `gorm:"column:F_name;size:80" json:"name"`
Provinces []Province `gorm:"many2many:t_paper_province;" json:"provinces"` // 試卷適用的省份
}
func fetchDBGetAllPaperAndSendToES() {
//fetch paper
var allPaper []PaperSearch
GetDb().Table("t_papers").Find(&allPaper)
//province
for i := range allPaper {
var allPro []Province
GetDb().Table("t_provinces").Joins("INNER JOIN `t_paper_province` ON `t_paper_province`.`province_F_province_id` = `t_provinces`.`F_province_id`").
Where("t_paper_province.paper_F_paper_id = ?", allPaper[i].PaperId).Find(&allPro)
allPaper[i].Provinces = allPro
}
if len(allPaper) > 0 {
//send to es - create index
createService := GetElasticSearch().CreateIndex(MyConfig.ElasticIndexName)
// 此處的index_default_setting就是上面mapping.json中的內容。
createService.Body(index_default_setting)
createResult, err := createService.Do(context.Background())
if err != nil {
cannotOpenES(err, "create_paper_index")
return
}
if !createResult.Acknowledged || !createResult.ShardsAcknowledged {
cannotOpenES(err, "create_paper_index_fail")
}
// - send all paper
bulkRequest := GetElasticSearch().Bulk()
for i := range allPaper {
indexReq := elastic.NewBulkIndexRequest().OpType("create").Index(MyConfig.ElasticIndexName).Type("docs").
Id(helper.Int64ToString(allPaper[i].PaperId)).
Doc(allPaper[i])
bulkRequest.Add(indexReq)
}
// Do sends the bulk requests to Elasticsearch
bulkResponse, err := bulkRequest.Do(context.Background())
if err != nil {
cannotOpenES(err, "insert_docs_error")
return
}
// Bulk request actions get cleared
if len(bulkResponse.Created()) != len(allPaper) {
cannotOpenES(err, "insert_docs_nums_error")
return
}
//send success
}
}
複製程式碼
跑通上面的程式碼後,使用{{url}}/_cat/indices?v
看看ES中是否出現了新建立的索引,使用{{url}}/papers/_search
看看命中了多少文件,如果文件數等於你傳送過去的資料量,搜尋服務就算跑起來了。
搜尋
現在就可以通過ProvinceID和q來搜尋試卷,預設按照相關度評分排序。
//q 搜尋字串 provinceID 限定省份id limit page 分頁引數
func SearchPaper(q string, provinceId uint, limit int, page int) (list []PaperSearch, totalPage int, currentPage int, pageIsEnd int, returnErr error) {
//不滿足條件,使用資料庫搜尋
if !CanUseElasticSearch && !MyConfig.UseElasticSearch {
return SearchPaperLocal(q, courseId, gradeId, provinceId, paperTypeId, limit, page)
}
list = make([]PaperSimple, 0)
totalPage = 0
currentPage = page
pageIsEnd = 0
returnErr = nil
client := GetElasticSearch()
if client == nil {
return SearchPaperLocal(q, courseId, gradeId, provinceId, paperTypeId, limit, page)
}
//ElasticSearch有問題,使用資料庫搜尋
if !isIndexIntegrity(client) {
return SearchPaperLocal(q, courseId, gradeId, provinceId, paperTypeId, limit, page)
}
if !client.IsRunning() {
client.Start()
}
defer client.Stop()
q = html.EscapeString(q)
boolQuery := elastic.NewBoolQuery()
// Paper.name
matchQuery := elastic.NewMatchQuery("name", q)
//省份
if provinceId > 0 && provinceId != DEFAULT_PROVINCE_ALL {
proBool := elastic.NewBoolQuery()
tpro := elastic.NewTermQuery("provinces.id", provinceId)
proNest := elastic.NewNestedQuery("provinces", proBool.Must(tpro))
boolQuery.Must(proNest)
}
boolQuery.Must(matchQuery)
for _, e := range termQuerys {
boolQuery.Must(e)
}
highligt := elastic.NewHighlight()
highligt.Field(ELASTIC_SEARCH_SEARCH_FIELD_NAME)
highligt.PreTags(ELASTIC_SEARCH_SEARCH_FIELD_TAG_START)
highligt.PostTags(ELASTIC_SEARCH_SEARCH_FIELD_TAG_END)
searchResult, err2 := client.Search(MyConfig.ElasticIndexName).
Highlight(highligt).
Query(boolQuery).
From((page - 1) * limit).
Size(limit).
Do(context.Background())
if err2 != nil {
// Handle error
GetLogger().LogErr("搜尋時出錯 "+err2.Error(), "search_error")
// Handle error
returnErr = errors.New("搜尋時出錯")
} else {
if searchResult.Hits.TotalHits > 0 {
// Iterate through results
for _, hit := range searchResult.Hits.Hits {
var p PaperSearch
err := json.Unmarshal(*hit.Source, &p)
if err != nil {
// Deserialization failed
GetLogger().LogErr("搜尋時出錯 "+err.Error(), "search_deserialization_error")
returnErr = errors.New("搜尋時出錯")
return
}
if len(hit.Highlight[ELASTIC_SEARCH_SEARCH_FIELD_NAME]) > 0 {
p.Name = hit.Highlight[ELASTIC_SEARCH_SEARCH_FIELD_NAME][0]
}
list = append(list, p)
}
count := searchResult.TotalHits()
currentPage = page
if count > 0 {
totalPage = int(math.Ceil(float64(count) / float64(limit)))
}
if currentPage >= totalPage {
pageIsEnd = 1
}
} else {
// No hits
}
}
return
}
複製程式碼
Over