### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 在使用elasticsearch的時候，如果不額外安裝分詞器的話，在處理text欄位時會使用elasticsearch自帶的預設分詞器，我們來一起看看預設分詞器的效果；

### 環境資訊
- 本次實戰用到的elasticsearch版本是**6.5.0**，安裝在Ubuntu 16.04.5 LTS，客戶端工具是postman6.6.1；
- 如果您需要搭建elasticsearch環境，請參考[《Linux環境快速搭建elasticsearch6.5.4叢集和Head外掛》](https://blog.csdn.net/boling_cavalry/article/details/86358716)；
- Ubuntu伺服器上安裝的JDK，版本是1.8.0_191；
- Ubuntu伺服器上安裝了maven，版本是是3.5.0；

### elasticsearch為什麼要用6.5.0版本
- 截止釋出文章時間，elasticsearch官網已經提供了6.5.4版本下載，但是ik分詞器的版本目前支援到6.5.0版本，因此本次實戰的elasticsearch選擇了6.5.0版本；

### 基本情況介紹
- 本次實戰的elasticsearch環境已經搭建完畢，是由兩個機器搭建的叢集，並且elasticsearch-head也搭建完成：
1. 一號機器，IP地址：192.168.150.128；
2. 二號機器：IP地址：192.168.150.128；
3. elasticsearch-head安裝在一號機器，訪問地址：http://192.168.150.128:9100

### 資料格式說明
- 為了便於和讀者溝通，我們來約定一下如何在文章中表達請求和響應的資訊：

- 假設透過Postman工具向伺服器傳送一個PUT型別的請求，地址是：http://192.168.150.128:9200/test001/article/1
- 請求的內容是JSON格式的，內容如下：

```shell
{
	"id":1,
	"title":"標題a",
	"posttime":"2019-01-12",
	"content":"一起來熟悉文件相關的操作"
}
```

- 對於上面的請求，我在文章中就以如下格式描述：

```shell
PUT test001/article/1

{
	"id":1,
	"title":"標題a",
	"posttime":"2019-01-12",
	"content":"一起來熟悉文件相關的操作"
}
```

- 讀者您看到上述內容，就可以在postman中發起PUT請求，地址是"test001/article/1"前面加上您的伺服器地址，內容是上面的JSON；

### 預設分詞器的效果
- 先來看看預設的分詞效果：
- 建立一個索引：

```shell
PUT test002
```

- 檢視索引基本情況：

```shell
GET test002/_settings
```

- 收到響應如下，可見並沒有分詞器的資訊：

```json
{
    "test002": {
        "settings": {
            "index": {
                "creation_date": "1547863084175",
                "number_of_shards": "5",
                "number_of_replicas": "1",
                "uuid": "izLzdwCQRdeq01tNBxajEg",
                "version": {
                    "created": "6050499"
                },
                "provided_name": "test002"
            }
        }
    }
}
```

- 檢視分詞效果：

```shell
POST test002/_analyze?pretty=true

{"text":"我們是軟體工程師"}
```

- 收到響應如下，可見每個漢字都被拆分成一個詞了，這樣會導致詞項搜尋時收不到我們想要的(例如用"我們"來搜尋是沒有結果的)：

```json
{
    "tokens": [
        {
            "token": "我",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<ideographic>",
            "position": 0
        },
        {
            "token": "們",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<ideographic>",
            "position": 1
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<ideographic>",
            "position": 2
        },
        {
            "token": "軟",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<ideographic>",
            "position": 3
        },
        {
            "token": "件",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<ideographic>",
            "position": 4
        },
        {
            "token": "工",
            "start_offset": 5,
            "end_offset": 6,
            "type": "<ideographic>",
            "position": 5
        },
        {
            "token": "程",
            "start_offset": 6,
            "end_offset": 7,
            "type": "<ideographic>",
            "position": 6
        },
        {
            "token": "師",
            "start_offset": 7,
            "end_offset": 8,
            "type": "<ideographic>",
            "position": 7
        }
    ]
}
```

- 為了詞項搜尋能得到我們想要的結果，需要換一個分詞器，理想的分詞效果應該是"我們"、"是"、"軟體"、"工程師"，ik分詞器可以滿足我們的要求，接下來開始實戰；

### 注意事項
- 下面的所有操作都使用es賬號來進行，不要用root賬號；
- 編譯ik分詞器需要用到maven，如果您有docker，但是不想安裝maven，可以參考[《沒有JDK和Maven，用Docker也能構建Maven工程》](https://blog.csdn.net/boling_cavalry/article/details/80384722)來編譯工程；

### 下載IK分詞器原始碼到Ubuntu
- 登入ik分詞器網站：https://github.com/medcl/elasticsearch-analysis-ik
- 按照網站提供的版本對應表，確認我們要使用的分詞器版本，很遺憾寫文章的時候還沒有匹配elasticsearch-6.5.0的版本，那就用master吧，也就是下圖中的紅框版本：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190119111722583.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下圖，點選下載zip檔案：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190119235226100.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 將下載的zip包放到Ubuntu機器上，解壓後是個名為**elasticsearch-analysis-ik-master**的資料夾，在此資料夾下執行以下命令，即可開始構建ik分詞器工程：

```shell
mvn clean package -U -DskipTests
```

- 等待編譯完成後，在target/release目錄下會生產名為**elasticsearch-analysis-ik-6.5.0.zip**的檔案，如下所示：

```shell
$ pwd
/usr/local/work/es/elasticsearch-analysis-ik-master
$ cd target/
$ ls
archive-tmp  elasticsearch-analysis-ik-6.5.0.jar          generated-sources  maven-status
classes      elasticsearch-analysis-ik-6.5.0-sources.jar  maven-archiver     releases
$ cd releases/
$ ls
elasticsearch-analysis-ik-6.5.0.zip
```

- **停止叢集中所有機器的elasticsearch程式，在所有機器上做這些操作：**在elasticsearch的plugins目錄下建立名為**ik**的目錄，再將上面生成的elasticsearch-analysis-ik-6.5.0.zip檔案複製到這個新建立的ik目錄下；

- 在elasticsearch-analysis-ik-6.5.0.zip所在資料夾下，執行目錄**unzip elasticsearch-analysis-ik-6.5.0.zip**進行解壓；
- 確認elasticsearch-analysis-ik-6.5.0.zip已經複製到每個elasticsearch的plugins/ik目錄下並解壓後，將所有elasticsearch啟動，可以發現控制檯上會輸出ik分詞器被載入的資訊，如下圖所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190120113336189.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 至此，ik分詞器安裝完成，來驗證一下吧；

### 驗證ik分詞器
- 在postman發起請求，在json中透過tokenizer指定分詞器：

```shell
POST test002/_analyze?pretty=true

{
"text":"我們是軟體工程師",
"tokenizer":"ik_max_word"
}
```

- 這一次得到了分詞的效果：

```json
{
    "tokens": [
        {
            "token": "我們",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "軟體工程",
            "start_offset": 3,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "軟體",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "工程師",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "工程",
            "start_offset": 5,
            "end_offset": 7,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "師",
            "start_offset": 7,
            "end_offset": 8,
            "type": "CN_CHAR",
            "position": 6
        }
    ]
}
```

- 可見所有可能形成的詞語都被分了出來，接下試試ik分詞器的另一種分詞方式**ik_smart**；
- 使用**ik_smart**方式分詞的請求如下：

```shell
POST test002/_analyze?pretty=true

{
"text":"我們是軟體工程師",
"tokenizer":"ik_smart"
}
```

- 這一次得到了分詞的效果：

```json
{
    "tokens": [
        {
            "token": "我們",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "是",
            "start_offset": 2,
            "end_offset": 3,
            "type": "CN_CHAR",
            "position": 1
        },
        {
            "token": "軟體",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "工程師",
            "start_offset": 5,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 3
        }
    ]
}
```

- 可見ik_smart的特點是將原句做拆分，不會因為各種組合出現部分的重複，以下是來自官方的解釋：

```shell
ik_max_word 和 ik_smart 什麼區別?
ik_max_word: 會將文字做最細粒度的拆分，比如會將“中華人民共和國國歌”拆分為“中華人民共和國,中華人民,中華,華人,人民共和國,人民,人,民,共和國,共和,和,國國,國歌”，會窮盡各種可能的組合；

ik_smart: 會做最粗粒度的拆分，比如會將“中華人民共和國國歌”拆分為“中華人民共和國,國歌”。
```

### 驗證搜尋
- 前面透過http請求驗證了分詞效果，現在透過搜尋來驗證分詞效果；
- 透過靜態mapping的方式建立索引，指定了分詞器和分詞方式：

```shell
PUT test003

{
  "mappings": {
    "article": {
      "dynamic": false,
      "properties": {
        "title": {
          "type": "keyword"
        },
       "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word"
            }
      }
    }
  }
}
```

- 建立成功會收到以下響應：

```json
{
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "test003"
}
```

- 建立一個文件：

```shell
PUT test003/article/1

{
  "id":1,
  "title":"文章一",
  "content":"我們是軟體工程師"
}
```

- 用**工程師**作為關鍵詞查詢試試：

```shell
GET test003/_search

{
	"query":{
		"term":{"content":"工程師"}
	}
}
```

- 搜尋成功：

```json
{
    "took": 111,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": 0.2876821,
        "hits": [
            {
                "_index": "test003",
                "_type": "article",
                "_id": "1",
                "_score": 0.2876821,
                "_source": {
                    "id": 1,
                    "title": "文章一",
                    "content": "我們是軟體工程師"
                }
            }
        ]
    }
}
```

- 至此，ik分詞器的安裝和使用實戰就完成了，希望本文能在您的使用過程中提供一些參考；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</ideographic></ideographic></ideographic></ideographic></ideographic></ideographic></ideographic></ideographic>

elasticsearch安裝和使用ik分詞器

相關文章