背景
專案中有個需求是需要幾個欄位作為標籤，統計各個標籤的文件數量，同時支援分詞後的全文檢索功能。
原有的mapping設計：
curl -XPUT http://ip:9200/meta_es_metric_data -d'
{
"settings": {
"number_of_shards": 5,
"number_of_replicas": 0
},
"mappings": {
"meta_metric": {
"properties": {
"metricCode": {
"type": "text",
"analyzer" : "ik_max_word"
},
"metricTechType": {
"type": "keyword"
},
"dataDomainName": {
"type": "keyword"
},
"sceneClassify": {
"type": "keyword"
},
"metricClassify": {
"type": "keyword"
}
}
}
}
}'
其中keyword型別就是作為標籤統計欄位，因為其型別不支援分詞檢索，檢索時必須精確查詢，我們嘗試把其型別修改成text,text本身就是支援分詞索引，但是修改後就報錯了：
Fielddata is disabled on text fields by default
經過查詢瞭解es一個欄位型別被設定為text，再進行聚合統計，就會報上面的問題.
那麼ES有沒有辦法對一個欄位支援分詞檢索同時可以進行統計的特性呢？其實就是ES是否可以一個欄位定義兩種型別： keyword 和 text？
答案是可以的.
ES欄位的fields屬性
通過fields屬性來讓當前欄位同時具備keyword和text型別
由於我們本身的欄位型別是keyword，那我在field 屬性中新增一個text，是否就滿足需求呢？如：
curl -XPUT http://ip:9200/meta_es_metric_data -d'
{
"settings": {
"number_of_shards": 5,
"number_of_replicas": 0
},
"mappings": {
"meta_metric": {
"properties": {
"metricCode": {
"type": "text",
"analyzer" : "ik_max_word"
},
"metricTechType": {
"type": "keyword"
fields": {
"raw": {
"type": "text"
}
}
}
}
}
}
}'
當用match 搜尋metricTechType.raw, 分詞搜尋是不行的。
之所以想這樣做是因為ES支援新增欄位、更新欄位，但是不支援欄位型別的修改
這條方法走不通，就比較複雜了，因為考慮修改欄位型別，我們只能重建mapping, 同時涉及歷史資料的載入處理。
具體步驟
1.重建索引，因es不支援修改欄位型別
curl -XPUT http://ip:9200/meta_es_metric_data_new -d'
{
"settings": {
"number_of_shards": 5,
"number_of_replicas": 0
},
"mappings": {
"meta_metric": {
"properties": {
"metricCode": {
"type": "text",
"analyzer" : "ik_max_word"
},
"metricTechType": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
},
"dataDomainName": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
},
"sceneClassify": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
},
"metricClassify": {
"type": "text",
"fields": {
"raw": {
"type": "keyword"
}
}
}
}
}
}
}'
2.檢視索引對映
curl -XGET 'http://ip:9200/meta_es_metric_data_new/_mapping'
3.將資料載入到新的索引上（老索引的資料還是在的)
curl -XPOST http://ip:9200/_reindex -d'
{
"source":{
"index": "meta_es_metric_data"
},
"dest": {
"index": "meta_es_metric_data_new"
}
}'
4.檢視老索引資料:
curl -XGET 'http://ip:9200/meta_es_metric_data/_search?pretty' -H 'Content-Type: application/json' -d'
{
"query": {
"match": {
"dataDomainName": "使用者"
}
}
}
'
5.刪除原索引，給新索引建立別名（為了程式碼不動）
curl -XDELETE http://ip:9200/meta_es_metric_data
curl -XPOST http://ip:9200/_aliases -d'
{
"actions":[
{
"add": {
"index": "meta_es_metric_data_new",
"alias": "meta_es_metric_data"
}
}
]
}'
6.測試欄位是否支援全文檢索及聚合
curl -XGET 'http://ip:9200/meta_es_metric_data_new/_search?pretty' -H 'Content-Type: application/json' -d'
{
"query": {
"match": {
"dataDomainName": "使用者"
}
},
"sort": {
"dataDomainName.raw": "asc"
},
"aggs": {
"Cities": {
"terms": {
"field": "dataDomainName.raw"
}
}
}
}
'
總結
本文主要講解如何讓一個欄位支援不同方式索引，利用Fields屬性. 同時如何對歷史存量資料進行處理. keyword型別支援es精確查詢以及聚合排序，text支援全文檢索，但是不能進行聚合、排序.