# 阮一峰：全文搜尋引擎 Elasticsearch 入門教程

作者：阮一峰

本系列文章將整理到我在GitHub上的《Java面試指南》倉庫，更多精彩內容請到我的倉庫裡檢視
> https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

本系列文章將整理於我的個人部落格：
> www.how2playlife.com

該系列博文會介紹常見的後端技術，這對後端工程師來說是一種綜合能力，我們會逐步瞭解搜尋技術，雲端計算相關技術、大資料研發等常見的技術喜提，以便讓你更完整地瞭解後端技術棧的全貌，為後續參與分散式應用的開發和學習做好準備。

如果對本系列文章有什麼建議，或者是有什麼疑問的話，也可以關注公眾號【Java技術江湖】聯絡我，歡迎你參與本系列博文的創作和修訂。

閱讀 1093

2017-08-23

原文連結：[www.ruanyifeng.com](https://link.juejin.im/?target=http%3A%2F%2Fwww.ruanyifeng.com%2Fblog%2F2017%2F08%2Felasticsearch.html)

[9月7日-8日 北京，與 Google Twitch 等團隊技術大咖面對面www.bagevent.com](https://www.bagevent.com/event/1291755?bag_track=juejin)

[全文搜尋](https://link.juejin.im/?target=https%3A%2F%2Fbaike.baidu.com%2Fitem%2F%25E5%2585%25A8%25E6%2596%2587%25E6%2590%259C%25E7%25B4%25A2%25E5%25BC%2595%25E6%2593%258E)屬於最常見的需求，開源的 [Elasticsearch](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2F) （以下簡稱 Elastic）是目前全文搜尋引擎的首選。

它可以快速地儲存、搜尋和分析海量資料。維基百科、Stack Overflow、Github 都採用它。

![](https://user-gold-cdn.xitu.io/2017/8/23/1744dd6de08a90846583b11bd4638e8f?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)

Elastic 的底層是開源庫 [Lucene](https://link.juejin.im/?target=https%3A%2F%2Flucene.apache.org%2F)。但是，你沒法直接用 Lucene，必須自己寫程式碼去呼叫它的介面。Elastic 是 Lucene 的封裝，提供了 REST API 的操作介面，開箱即用。

本文從零開始，講解如何使用 Elastic 搭建自己的全文搜尋引擎。每一步都有詳細的說明，大家跟著做就能學會。

## 一、安裝

Elastic 需要 Java 8 環境。如果你的機器還沒安裝 Java，可以參考[這篇文章](https://link.juejin.im/?target=https%3A%2F%2Fwww.digitalocean.com%2Fcommunity%2Ftutorials%2Fhow-to-install-java-with-apt-get-on-debian-8)，注意要保證環境變數`JAVA_HOME`正確設定。

安裝完 Java，就可以跟著[官方文件](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2Fcurrent%2Fzip-targz.html)安裝 Elastic。直接下載壓縮包比較簡單。

> ```
>  $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip$ unzip elasticsearch-5.5.1.zip$ cd elasticsearch-5.5.1/ 
> ```

接著，進入解壓後的目錄，執行下面的命令，啟動 Elastic。

> ```
>  $ ./bin/elasticsearch
> ```

如果這時[報錯](https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Fspujadas%2Felk-docker%2Fissues%2F92)"max virtual memory areas vm.max_map_count [65530] is too low"，要執行下面的命令。

> ```
>  $ sudo sysctl -w vm.max_map_count=262144
> ```

如果一切正常，Elastic 就會在預設的9200埠執行。這時，開啟另一個命令列視窗，請求該埠，會得到說明資訊。

> ```
>  $ curl localhost:9200 {  "name" : "atntrTf",  "cluster_name" : "elasticsearch",  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",  "version" : {    "number" : "5.5.1",    "build_hash" : "19c13d0",    "build_date" : "2017-07-18T20:44:24.823Z",    "build_snapshot" : false,    "lucene_version" : "6.6.0"  },  "tagline" : "You Know, for Search"}
> ```

上面程式碼中，請求9200埠，Elastic 返回一個 JSON 物件，包含當前節點、叢集、版本等資訊。

按下 Ctrl + C，Elastic 就會停止執行。

預設情況下，Elastic 只允許本機訪問，如果需要遠端訪問，可以修改 Elastic 安裝目錄的`config/elasticsearch.yml`檔案，去掉`network.host`的註釋，將它的值改成`0.0.0.0`，然後重新啟動 Elastic。

> ```
>  network.host: 0.0.0.0
> ```

上面程式碼中，設成`0.0.0.0`讓任何人都可以訪問。線上服務不要這樣設定，要設成具體的 IP。

## 二、基本概念

### 2.1 Node 與 Cluster

Elastic 本質上是一個分散式資料庫，允許多臺伺服器協同工作，每臺伺服器可以執行多個 Elastic 例項。

單個 Elastic 例項稱為一個節點（node）。一組節點構成一個叢集（cluster）。

### 2.2 Index

Elastic 會索引所有欄位，經過處理後寫入一個反向索引（Inverted Index）。查詢資料的時候，直接查詢該索引。

所以，Elastic 資料管理的頂層單位就叫做 Index（索引）。它是單個資料庫的同義詞。每個 Index （即資料庫）的名字必須是小寫。

下面的命令可以檢視當前節點的所有 Index。

> ```
>  $ curl -X GET 'http://localhost:9200/_cat/indices?v'
> ```

### 2.3 Document

Index 裡面單條的記錄稱為 Document（文件）。許多條 Document 構成了一個 Index。

Document 使用 JSON 格式表示，下面是一個例子。

> ```
>  {  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}
> ```

同一個 Index 裡面的 Document，不要求有相同的結構（scheme），但是最好保持相同，這樣有利於提高搜尋效率。

### 2.4 Type

Document 可以分組，比如`weather`這個 Index 裡面，可以按城市分組（北京和上海），也可以按氣候分組（晴天和雨天）。這種分組就叫做 Type，它是虛擬的邏輯分組，用來過濾 Document。

不同的 Type 應該有相似的結構（schema），舉例來說，`id`欄位不能在這個組是字串，在另一個組是數值。這是與關係型資料庫的表的[一個區別](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Fguide%2Fcurrent%2Fmapping.html)。性質完全不同的資料（比如`products`和`logs`）應該存成兩個 Index，而不是一個 Index 裡面的兩個 Type（雖然可以做到）。

下面的命令可以列出每個 Index 所包含的 Type。

> ```
>  $ curl 'localhost:9200/_mapping?pretty=true'
> ```

根據[規劃](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fblog%2Findex-type-parent-child-join-now-future-in-elasticsearch)，Elastic 6.x 版只允許每個 Index 包含一個 Type，7.x 版將會徹底移除 Type。

## 三、新建和刪除 Index

新建 Index，可以直接向 Elastic 伺服器發出 PUT 請求。下面的例子是新建一個名叫`weather`的 Index。

> ```
>  $ curl -X PUT 'localhost:9200/weather'
> ```

伺服器返回一個 JSON 物件，裡面的`acknowledged`欄位表示操作成功。

> ```
>  {  "acknowledged":true,  "shards_acknowledged":true}
> ```

然後，我們發出 DELETE 請求，刪除這個 Index。

> ```
>  $ curl -X DELETE 'localhost:9200/weather'
> ```

## 四、中文分詞設定

首先，安裝中文分詞外掛。這裡使用的是 [ik](https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Fmedcl%2Felasticsearch-analysis-ik%2F)，也可以考慮其他外掛（比如 [smartcn](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Fplugins%2Fcurrent%2Fanalysis-smartcn.html)）。

> ```
>  $ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.5.1/elasticsearch-analysis-ik-5.5.1.zip
> ```

上面程式碼安裝的是5.5.1版的外掛，與 Elastic 5.5.1 配合使用。

接著，重新啟動 Elastic，就會自動載入這個新安裝的外掛。

然後，新建一個 Index，指定需要分詞的欄位。這一步根據資料結構而異，下面的命令只針對本文。基本上，凡是需要搜尋的中文欄位，都要單獨設定一下。

> ```
>  $ curl -X PUT 'localhost:9200/accounts' -d '{  "mappings": {    "person": {      "properties": {        "user": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "title": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        },        "desc": {          "type": "text",          "analyzer": "ik_max_word",          "search_analyzer": "ik_max_word"        }      }    }  }}'
> ```

上面程式碼中，首先新建一個名稱為`accounts`的 Index，裡面有一個名稱為`person`的 Type。`person`有三個欄位。

> *   user
> *   title
> *   desc

這三個欄位都是中文，而且型別都是文字（text），所以需要指定中文分詞器，不能使用預設的英文分詞器。

Elastic 的分詞器稱為 [analyzer](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2Fcurrent%2Fanalysis.html)。我們對每個欄位指定分詞器。

> ```
>  "user": {  "type": "text",  "analyzer": "ik_max_word",  "search_analyzer": "ik_max_word"}
> ```

上面程式碼中，`analyzer`是欄位文字的分詞器，`search_analyzer`是搜尋詞的分詞器。`ik_max_word`分詞器是外掛`ik`提供的，可以對文字進行最大數量的分詞。

## 五、資料操作

### 5.1 新增記錄

向指定的 /Index/Type 傳送 PUT 請求，就可以在 Index 裡面新增一條記錄。比如，向`/accounts/person`傳送請求，就可以新增一條人員記錄。

> ```
>  $ curl -X PUT 'localhost:9200/accounts/person/1' -d '{  "user": "張三",  "title": "工程師",  "desc": "資料庫管理"}' 
> ```

伺服器返回的 JSON 物件，會給出 Index、Type、Id、Version 等資訊。

> ```
>  {  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}
> ```

如果你仔細看，會發現請求路徑是`/accounts/person/1`，最後的`1`是該條記錄的 Id。它不一定是數字，任意字串（比如`abc`）都可以。

新增記錄的時候，也可以不指定 Id，這時要改成 POST 請求。

> ```
>  $ curl -X POST 'localhost:9200/accounts/person' -d '{  "user": "李四",  "title": "工程師",  "desc": "系統管理"}'
> ```

上面程式碼中，向`/accounts/person`發出一個 POST 請求，新增一個記錄。這時，伺服器返回的 JSON 物件裡面，`_id`欄位就是一個隨機字串。

> ```
>  {  "_index":"accounts",  "_type":"person",  "_id":"AV3qGfrC6jMbsbXb6k1p",  "_version":1,  "result":"created",  "_shards":{"total":2,"successful":1,"failed":0},  "created":true}
> ```

注意，如果沒有先建立 Index（這個例子是`accounts`），直接執行上面的命令，Elastic 也不會報錯，而是直接生成指定的 Index。所以，打字的時候要小心，不要寫錯 Index 的名稱。

### 5.2 檢視記錄

向`/Index/Type/Id`發出 GET 請求，就可以檢視這條記錄。

> ```
>  $ curl 'localhost:9200/accounts/person/1?pretty=true'
> ```

上面程式碼請求檢視`/accounts/person/1`這條記錄，URL 的引數`pretty=true`表示以易讀的格式返回。

返回的資料中，`found`欄位表示查詢成功，`_source`欄位返回原始記錄。

> ```
>  {  "_index" : "accounts",  "_type" : "person",  "_id" : "1",  "_version" : 1,  "found" : true,  "_source" : {    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理"  }}
> ```

如果 Id 不正確，就查不到資料，`found`欄位就是`false`。

> ```
>  $ curl 'localhost:9200/weather/beijing/abc?pretty=true' {  "_index" : "accounts",  "_type" : "person",  "_id" : "abc",  "found" : false}
> ```

### 5.3 刪除記錄

刪除記錄就是發出 DELETE 請求。

> ```
>  $ curl -X DELETE 'localhost:9200/accounts/person/1'
> ```

這裡先不要刪除這條記錄，後面還要用到。

### 5.4 更新記錄

更新記錄就是使用 PUT 請求，重新傳送一次資料。

> ```
>  $ curl -X PUT 'localhost:9200/accounts/person/1' -d '{    "user" : "張三",    "title" : "工程師",    "desc" : "資料庫管理，軟體開發"}'  {  "_index":"accounts",  "_type":"person",  "_id":"1",  "_version":2,  "result":"updated",  "_shards":{"total":2,"successful":1,"failed":0},  "created":false}
> ```

上面程式碼中，我們將原始資料從"資料庫管理"改成"資料庫管理，軟體開發"。 返回結果裡面，有幾個欄位發生了變化。

> ```
>  "_version" : 2,"result" : "updated","created" : false
> ```

可以看到，記錄的 Id 沒變，但是版本（version）從`1`變成`2`，操作型別（result）從`created`變成`updated`，`created`欄位變成`false`，因為這次不是新建記錄。

## 六、資料查詢

### 6.1 返回所有記錄

使用 GET 方法，直接請求`/Index/Type/_search`，就會返回所有記錄。

> ```
>  $ curl 'localhost:9200/accounts/person/_search' {  "took":2,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":2,    "max_score":1.0,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"AV3qGfrC6jMbsbXb6k1p",        "_score":1.0,        "_source": {          "user": "李四",          "title": "工程師",          "desc": "系統管理"        }      },      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":1.0,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理，軟體開發"        }      }    ]  }}
> ```

上面程式碼中，返回結果的 `took`欄位表示該操作的耗時（單位為毫秒），`timed_out`欄位表示是否超時，`hits`欄位表示命中的記錄，裡面子欄位的含義如下。

> *   `total`：返回記錄數，本例是2條。
> *   `max_score`：最高的匹配程度，本例是`1.0`。
> *   `hits`：返回的記錄組成的陣列。

返回的記錄中，每條記錄都有一個`_score`欄位，表示匹配的程式，預設是按照這個欄位降序排列。

### 6.2 全文搜尋

Elastic 的查詢非常特別，使用自己的[查詢語法](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F5.5%2Fquery-dsl.html)，要求 GET 請求帶有資料體。

> ```
>  $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體" }}}'
> ```

上面程式碼使用 [Match 查詢](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F5.5%2Fquery-dsl-match-query.html)，指定的匹配條件是`desc`欄位裡面包含"軟體"這個詞。返回結果如下。

> ```
>  {  "took":3,  "timed_out":false,  "_shards":{"total":5,"successful":5,"failed":0},  "hits":{    "total":1,    "max_score":0.28582606,    "hits":[      {        "_index":"accounts",        "_type":"person",        "_id":"1",        "_score":0.28582606,        "_source": {          "user" : "張三",          "title" : "工程師",          "desc" : "資料庫管理，軟體開發"        }      }    ]  }}
> ```

Elastic 預設一次返回10條結果，可以透過`size`欄位改變這個設定。

> ```
>  $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "size": 1}'
> ```

上面程式碼指定，每次只返回一條結果。

還可以透過`from`欄位，指定位移。

> ```
>  $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "管理" }},  "from": 1,  "size": 1}'
> ```

上面程式碼指定，從位置1開始（預設是從位置0開始），只返回一條結果。

### 6.3 邏輯運算

如果有多個搜尋關鍵字， Elastic 認為它們是`or`關係。

> ```
>  $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query" : { "match" : { "desc" : "軟體 系統" }}}'
> ```

上面程式碼搜尋的是`軟體 or 系統`。

如果要執行多個關鍵詞的`and`搜尋，必須使用[布林查詢](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2F5.5%2Fquery-dsl-bool-query.html)。

> ```
>  $ curl 'localhost:9200/accounts/person/_search'  -d '{  "query": {    "bool": {      "must": [        { "match": { "desc": "軟體" } },        { "match": { "desc": "系統" } }      ]    }  }}'
> ```

## 七、參考連結

*   [ElasticSearch 官方手冊](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fguide%2Fen%2Felasticsearch%2Freference%2Fcurrent%2Fgetting-started.html)
*   [A Practical Introduction to Elasticsearch](https://link.juejin.im/?target=https%3A%2F%2Fwww.elastic.co%2Fblog%2Fa-practical-introduction-to-elasticsearch)

（完）

![](https://upload-images.jianshu.io/upload_images/19687-3a3865f474573947.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

#### 一、前言

在開發網站/App專案的時候，通常需要搭建搜尋服務。比如，新聞類應用需要檢索標題/內容，社群類應用需要檢索使用者/帖子。

對於簡單的需求，可以使用資料庫的 LIKE 模糊搜尋，示例：

> SELECT * FROM news WHERE title LIKE '%法拉利跑車%'

可以查詢到所有標題含有 "法拉利跑車" 關鍵詞的新聞，但是這種方式有明顯的弊端：

> 1、模糊查詢效能極低，當資料量龐大的時候，往往會使資料庫服務中斷；
> 
> 2、無法查詢相關的資料，只能嚴格在標題中匹配關鍵詞。

因此，需要搭建專門提供搜尋功能的服務，具備分詞、全文檢索等高階功能。 Solr 就是這樣一款搜尋引擎，可以讓你快速搭建適用於自己業務的搜尋服務。

#### 二、安裝

到官網 [http://lucene.apache.org/solr/](https://link.jianshu.com/?t=http://lucene.apache.org/solr/) 下載安裝包，解壓並進入 Solr 目錄：

> wget 'http://apache.website-solution.net/lucene/solr/6.2.0/solr-6.2.0.tgz'
> 
> tar xvf solr-6.2.0.tgz
> 
> cd solr-6.2.0

目錄結構如下：

![](https://upload-images.jianshu.io/upload_images/19687-ddbb880dd1a7bcb0.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

Solr 6.2 目錄結構

啟動 Solr 服務之前，確認已經安裝 Java 1.8 ：

![](https://upload-images.jianshu.io/upload_images/19687-049501dade838caf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

檢視 Java 版本

啟動 Solr 服務：

> ./bin/solr start -m 1g

Solr 將預設監聽 8983 埠，其中 -m 1g 指定分配給 JVM 的記憶體為 1 G。

在瀏覽器中訪問 Solr 管理後臺：

> http://127.0.0.1:8983/solr/#/

![](https://upload-images.jianshu.io/upload_images/19687-19bdf6ec1077db99.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

Solr 管理後臺

建立 Solr 應用：

> ./bin/solr create -c my_news

可以在 solr-6.2.0/server/solr 目錄下生成 my_news 資料夾，結構如下：

![](https://upload-images.jianshu.io/upload_images/19687-9911b7416917ca06.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

my_news 目錄結構

同時，可以在管理後臺看到 my_news：

![](https://upload-images.jianshu.io/upload_images/19687-81af0fb0b5d89edd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

管理後臺

#### 三、建立索引

我們將從 MySQL 資料庫中匯入資料到 Solr 並建立索引。

首先，需要了解 Solr 中的兩個概念： 欄位(field) 和 欄位型別(fieldType)，配置示例如下：

![](https://upload-images.jianshu.io/upload_images/19687-cbc2ba3d84087319.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

schema.xml 示例

field 指定一個欄位的名稱、是否索引/儲存和欄位型別。

fieldType 指定一個欄位型別的名稱以及在查詢/索引的時候可能用到的分詞外掛。

將 solr-6.2.0\server\solr\my_news\conf 目錄下預設的配置檔案 managed-schema 重新命名為 schema.xml 並加入新的 fieldType：

![](https://upload-images.jianshu.io/upload_images/19687-2657cfb3507d1bae.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

分詞型別

在 my_news 目錄下建立 lib 目錄，將用到的分詞外掛 ik-analyzer-solr5-5.x.jar 加到 lib 目錄，結構如下：

![](https://upload-images.jianshu.io/upload_images/19687-3a3e436e33fa9311.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

my_news 目錄結構

在 Solr 安裝目錄下重啟服務：

> ./bin/solr restart

可以在管理後臺看到新加的型別：

![](https://upload-images.jianshu.io/upload_images/19687-5609a84930ed96f0.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

text_ik 型別

接下來建立和我們資料庫欄位對應的 field：title 和 content，型別選為 text_ik：

![](https://upload-images.jianshu.io/upload_images/19687-a46bba01779c0701.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

新建欄位 title

將要匯入資料的 MySQL 資料庫表結構：

![](https://upload-images.jianshu.io/upload_images/19687-ab4dec5179c0f5c3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

編輯 conf/solrconfig.xml 檔案，加入類庫和資料庫配置：

![](https://upload-images.jianshu.io/upload_images/19687-e3dc609b92f395a1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

類庫

![](https://upload-images.jianshu.io/upload_images/19687-7a145baf9aa36599.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

dataimport config

同時新建資料庫連線配置檔案 conf/db-mysql-config.xml ，內容如下：

![](https://upload-images.jianshu.io/upload_images/19687-edc3bb352c36e8c2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

資料庫配置檔案

將資料庫連線元件 mysql-connector-java-5.1.39-bin.jar 放到 lib 目錄下，重啟 Solr，訪問管理後臺，執行全量匯入資料：

![](https://upload-images.jianshu.io/upload_images/19687-a4462a20df0716a2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

全量匯入資料

建立定時更新指令碼：

![](https://upload-images.jianshu.io/upload_images/19687-f437d561069eedd2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

定時更新指令碼

加入到定時任務，每5分鐘增量更新一次索引：

![](https://upload-images.jianshu.io/upload_images/19687-73d93e996f0a132c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

定時任務

在 Solr 管理後臺測試搜尋結果：

![](https://upload-images.jianshu.io/upload_images/19687-9f003409af70ae7a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

分詞搜尋結果

至此，基本的搜尋引擎搭建完畢，外部應用只需透過 http 協議提供查詢引數，就可以獲取搜尋結果。

#### 四、搜尋干預

通常需要對搜尋結果進行人工干預，比如編輯推薦、競價排名或者遮蔽搜尋結果。Solr 已經內建了 QueryElevationComponent 外掛，可以從配置檔案中獲取搜尋關鍵詞對應的干預列表，並將干預結果排在搜尋結果的前面。

在 solrconfig.xml 檔案中，可以看到：

![](https://upload-images.jianshu.io/upload_images/19687-09494ec9437338cd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

干預其請求配置

定義了搜尋元件 elevator，應用在 /elevate 的搜尋請求中，干預結果的配置檔案在 solrconfig.xml 同目錄下的 elevate.xml 中，干預配置示例：

![](https://upload-images.jianshu.io/upload_images/19687-3f2587b4bb0dcee3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

重啟 Solr ，當搜尋 "關鍵詞" 的時候，id 為 1和 4 的文件將出現在前面，同時 id = 3 的文件被排除在結果之外，可以看到，沒有干預的時候，搜尋結果為：

![](https://upload-images.jianshu.io/upload_images/19687-b12a6ec2234beaef.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

無干預結果

當有搜尋干預的時候：

![](https://upload-images.jianshu.io/upload_images/19687-f57a54656abc2f62.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

干預結果

透過配置檔案干預搜尋結果，雖然簡單，但是每次更新都要重啟 Solr 才能生效，稍顯麻煩，我們可以仿照 QueryElevationComponent 類，開發自己的干預元件，例如:從 Redis 中讀取干預配置。

#### 五、中文分詞

中文的搜尋質量，和分詞的效果息息相關，可以在 Solr 管理後臺測試分詞：

![](https://upload-images.jianshu.io/upload_images/19687-bc4dfa9a4801846f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

分詞結果測試

上例可以看到，使用 [IKAnalyzer](https://blog.csdn.net/a724888/article/details/80993677) 分詞外掛，對 “北京科技大學” 分詞的測試結果。當使用者搜尋 “北京”、“科技大學”、“科技大”、“科技”、“大學” 這些關鍵詞的時候，都會搜尋到文字內容含 “北京科技大學” 的文件。

常用的中文分詞外掛有 IKAnalyzer、mmseg4j和 Solr 自帶的 smartcn 等，分詞效果各有優劣，具體選擇哪個，可以根據自己的業務場景，分別測試效果再選擇。

分詞外掛一般都有自己的預設詞庫和擴充套件詞庫，預設詞庫包含了絕大多數常用的中文詞語。如果預設詞庫無法滿足你的需求，比如某些專業領域的詞彙，可以在擴充套件詞庫中手動新增，這樣分詞外掛就能識別新詞語了。

![](https://upload-images.jianshu.io/upload_images/19687-ac9e935a3b98661c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

分詞外掛擴充套件詞庫配置示例

分詞外掛還可以指定停止詞庫，將某些無意義的詞彙剔出分詞結果，比如：“的”、“哼” 等，例如：

![](https://upload-images.jianshu.io/upload_images/19687-34e025db9e4db451.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)

去除無意義的詞

#### 六、總結

以上介紹了 Solr 最常用的一些功能，Solr 本身還有很多其他豐富的功能，比如分散式部署。

希望對你有所幫助。

#### 七、附錄

1、參考資料：

[https://wiki.apache.org/solr/](https://link.jianshu.com/?t=https://wiki.apache.org/solr/)

[http://lucene.apache.org/solr/quickstart.html](https://link.jianshu.com/?t=http://lucene.apache.org/solr/quickstart.html)

[https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide](https://link.jianshu.com/?t=https://cwiki.apache.org/confluence/display/solr/Apache+Solr+Reference+Guide)

2、上述 Demo 中用到的所有配置檔案、Jar 包：

[https://github.com/Ceelog/OpenSchool/blob/master/my_news.zip](https://link.jianshu.com/?t=https://github.com/Ceelog/OpenSchool/blob/master/my_news.zip)

3、還有疑問？聯絡作者微博/微信 [@Ceelog](https://link.jianshu.com/?t=http://weibo.com/ceelog/)

# 搜尋引擎選型整理：Elasticsearch vs Solr

> 本文首發於[我的部落格](https://link.juejin.im/?target=https%3A%2F%2Fblog.kittypanic.com%2F)
> 原文連結：[Elasticsearch 與 Solr 的比較](https://link.juejin.im/?target=https%3A%2F%2Fblog.kittypanic.com%2Felastic_vs_solr%2F)

## Elasticsearch簡介[*](https://link.juejin.im/?target=http%3A%2F%2Ffuxiaopang.gitbooks.io%2Flearnelasticsearch)

Elasticsearch是一個實時的分散式搜尋和分析引擎。它可以幫助你用前所未有的速度去處理大規模資料。

它可以用於全文搜尋，結構化搜尋以及分析，當然你也可以將這三者進行組合。

Elasticsearch是一個建立在全文搜尋引擎 Apache Lucene(TM) 基礎上的搜尋引擎，可以說Lucene是當今最先進，最高效的全功能開源搜尋引擎框架。

但是Lucene只是一個框架，要充分利用它的功能，需要使用JAVA，並且在程式中整合Lucene。需要很多的學習瞭解，才能明白它是如何執行的，Lucene確實非常複雜。

Elasticsearch使用Lucene作為內部引擎，但是在使用它做全文搜尋時，只需要使用統一開發好的API即可，而不需要了解其背後複雜的Lucene的執行原理。

當然Elasticsearch並不僅僅是Lucene這麼簡單，它不但包括了全文搜尋功能，還可以進行以下工作:

*   分散式實時檔案儲存，並將每一個欄位都編入索引，使其可以被搜尋。

*   實時分析的分散式搜尋引擎。

*   可以擴充套件到上百臺伺服器，處理PB級別的結構化或非結構化資料。

這麼多的功能被整合到一臺伺服器上，你可以輕鬆地透過客戶端或者任何你喜歡的程式語言與ES的RESTful API進行交流。

Elasticsearch的上手是非常簡單的。它附帶了很多非常合理的預設值，這讓初學者很好地避免一上手就要面對複雜的理論，

它安裝好了就可以使用了，用很小的學習成本就可以變得很有生產力。

隨著越學越深入，還可以利用Elasticsearch更多高階的功能，整個引擎可以很靈活地進行配置。可以根據自身需求來定製屬於自己的Elasticsearch。

使用案例：

*   維基百科使用Elasticsearch來進行全文搜做並高亮顯示關鍵詞，以及提供search-as-you-type、did-you-mean等搜尋建議功能。

*   英國衛報使用Elasticsearch來處理訪客日誌，以便能將公眾對不同文章的反應實時地反饋給各位編輯。

*   StackOverflow將全文搜尋與地理位置和相關資訊進行結合，以提供more-like-this相關問題的展現。

*   GitHub使用Elasticsearch來檢索超過1300億行程式碼。

*   每天，Goldman Sachs使用它來處理5TB資料的索引，還有很多投行使用它來分析股票市場的變動。

但是Elasticsearch並不只是面向大型企業的，它還幫助了很多類似DataDog以及Klout的創業公司進行了功能的擴充套件。

## Elasticsearch的優缺點[*](https://link.juejin.im/?target=http%3A%2F%2Fstackoverflow.com%2Fquestions%2F10213009%2Fsolr-vs-elasticsearch)[*](https://link.juejin.im/?target=http%3A%2F%2Fhuangx.in%2F22%2Ftranslation-solr-vs-elasticsearch):

### 優點

1.  Elasticsearch是分散式的。不需要其他元件，分發是實時的，被叫做"Push replication"。

*   Elasticsearch 完全支援 Apache Lucene 的接近實時的搜尋。
*   處理多租戶（[multitenancy](https://link.juejin.im/?target=http%3A%2F%2Fen.wikipedia.org%2Fwiki%2FMultitenancy)）不需要特殊配置，而Solr則需要更多的高階設定。
*   Elasticsearch 採用 Gateway 的概念，使得完備份更加簡單。
*   各節點組成對等的網路結構，某些節點出現故障時會自動分配其他節點代替其進行工作。

### 缺點

1.  只有一名開發者（當前Elasticsearch GitHub組織已經不只如此，已經有了相當活躍的維護者）

*   還不夠自動（不適合當前新的Index Warmup API）

## Solr簡介[*](https://link.juejin.im/?target=http%3A%2F%2Fzh.wikipedia.org%2Fwiki%2FSolr)

Solr（讀作“solar”）是Apache Lucene專案的開源企業搜尋平臺。其主要功能包括全文檢索、命中標示、分面搜尋、動態聚類、資料庫整合，以及富文字（如Word、PDF）的處理。Solr是高度可擴充套件的，並提供了分散式搜尋和索引複製。Solr是最流行的企業級搜尋引擎，Solr4 還增加了NoSQL支援。

Solr是用Java編寫、執行在Servlet容器（如 Apache Tomcat 或Jetty）的一個獨立的全文搜尋伺服器。 Solr採用了 Lucene Java 搜尋庫為核心的全文索引和搜尋，並具有類似REST的HTTP/XML和JSON的API。Solr強大的外部配置功能使得無需進行Java編碼，便可對其進行調整以適應多種型別的應用程式。Solr有一個外掛架構，以支援更多的高階定製。

因為2010年 Apache Lucene 和 Apache Solr 專案合併，兩個專案是由同一個Apache軟體基金會開發團隊製作實現的。提到技術或產品時，Lucene/Solr或Solr/Lucene是一樣的。

## Solr的優缺點

### 優點

1.  Solr有一個更大、更成熟的使用者、開發和貢獻者社群。

*   支援新增多種格式的索引，如：HTML、PDF、微軟 Office 系列軟體格式以及 JSON、XML、CSV 等純文字格式。
*   Solr比較成熟、穩定。
*   不考慮建索引的同時進行搜尋，速度更快。

### 缺點

1.  建立索引時，搜尋效率下降，實時索引搜尋效率不高。

## Elasticsearch與Solr的比較[*](https://link.juejin.im/?target=http%3A%2F%2Fblog.socialcast.com%2Frealtime-search-solr-vs-elasticsearch%2F)

當單純的對已有資料進行搜尋時，Solr更快。

![](https://user-gold-cdn.xitu.io/2016/12/30/d5944021d5ad35ab6c62e4e56ae21e22.png?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)Search Fesh Index While Idle

當實時建立索引時, Solr會產生io阻塞，查詢效能較差, Elasticsearch具有明顯的優勢。

![](https://user-gold-cdn.xitu.io/2016/12/30/8c908279adf11197d4631c95915fc167.png?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)search_fresh_index_while_indexing

隨著資料量的增加，Solr的搜尋效率會變得更低，而Elasticsearch卻沒有明顯的變化。

![](https://user-gold-cdn.xitu.io/2016/12/30/931c2f218ae2c0c145279507b4eb0e7b.png?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)search_fresh_index_while_indexing

綜上所述，Solr的架構不適合實時搜尋的應用。

## 實際生產環境測試[*](https://link.juejin.im/?target=http%3A%2F%2Fblog.socialcast.com%2Frealtime-search-solr-vs-elasticsearch%2F)

下圖為將搜尋引擎從Solr轉到Elasticsearch以後的平均查詢速度有了50倍的提升。

![](https://user-gold-cdn.xitu.io/2016/12/30/76c108b2590ef4835b114dec4a018b8a.jpg?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)average_execution_time

## Elasticsearch 與 Solr 的比較總結

*   二者安裝都很簡單；

*   Solr 利用 Zookeeper 進行分散式管理，而 Elasticsearch 自身帶有分散式協調管理功能;
*   Solr 支援更多格式的資料，而 Elasticsearch 僅支援json檔案格式；
*   Solr 官方提供的功能更多，而 Elasticsearch 本身更注重於核心功能，高階功能多有第三方外掛提供；
*   Solr 在傳統的搜尋應用中表現好於 Elasticsearch，但在處理實時搜尋應用時效率明顯低於 Elasticsearch。

Solr 是傳統搜尋應用的有力解決方案，但 Elasticsearch 更適用於新興的實時搜尋應用。

## 其他基於Lucene的開源搜尋引擎解決方案[*](https://link.juejin.im/?target=http%3A%2F%2Fmail-archives.apache.org%2Fmod_mbox%2Fhbase-user%2F201006.mbox%2F%253C149150.78881.qm%40web50304.mail.re2.yahoo.com%253E)

1.  直接使用 [Lucene](https://link.juejin.im/?target=http%3A%2F%2Flucene.apache.org)

說明：Lucene 是一個 JAVA 搜尋類庫，它本身並不是一個完整的解決方案，需要額外的開發工作。

優點：成熟的解決方案，有很多的成功案例。apache 頂級專案，正在持續快速的進步。龐大而活躍的開發社群，大量的開發人員。它只是一個類庫，有足夠的定製和最佳化空間：經過簡單定製，就可以滿足絕大部分常見的需求；經過最佳化，可以支援 10億+ 量級的搜尋。

缺點：需要額外的開發工作。所有的擴充套件，分散式，可靠性等都需要自己實現；非實時，從建索引到可以搜尋中間有一個時間延遲，而當前的“近實時”(Lucene Near Real Time search)搜尋方案的可擴充套件性有待進一步完善

*   [Katta](https://link.juejin.im/?target=http%3A%2F%2Fkatta.sourceforge.net)

說明：基於 Lucene 的，支援分散式，可擴充套件，具有容錯功能，準實時的搜尋方案。

優點：開箱即用，可以與 Hadoop 配合實現分散式。具備擴充套件和容錯機制。

缺點：只是搜尋方案，建索引部分還是需要自己實現。在搜尋功能上，只實現了最基本的需求。成功案例較少，專案的成熟度稍微差一些。因為需要支援分散式，對於一些複雜的查詢需求，定製的難度會比較大。

*   [Hadoop contrib/index](https://link.juejin.im/?target=http%3A%2F%2Fsvn.apache.org%2Frepos%2Fasf%2Fhadoop%2Fmapreduce%2Ftrunk%2Fsrc%2Fcontrib%2Findex%2FREADME)

說明：Map/Reduce 模式的，分散式建索引方案，可以跟 Katta 配合使用。

優點：分散式建索引，具備可擴充套件性。

缺點：只是建索引方案，不包括搜尋實現。工作在批處理模式，對實時搜尋的支援不佳。

*   [LinkedIn 的開源方案](https://link.juejin.im/?target=http%3A%2F%2Fsna-projects.com)

說明：基於 Lucene 的一系列解決方案，包括 準實時搜尋 zoie ，facet 搜尋實現 bobo ，機器學習演算法 decomposer ，摘要儲存庫 krati ，資料庫模式包裝 sensei 等等

優點：經過驗證的解決方案，支援分散式，可擴充套件，豐富的功能實現

缺點：與 linkedin 公司的聯絡太緊密，可定製性比較差

*   [Lucandra](https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Ftjake%2FLucandra)

說明：基於 Lucene，索引存在 cassandra 資料庫中

優點：參考 cassandra 的優點

缺點：參考 cassandra 的缺點。另外，這只是一個 demo，沒有經過大量驗證

*   [HBasene](https://link.juejin.im/?target=https%3A%2F%2Fgithub.com%2Fakkumar%2Fhbasene)

說明：基於 Lucene，索引存在 HBase 資料庫中

優點：參考 HBase 的優點

缺點：參考 HBase 的缺點。另外，在實現中，lucene terms 是存成行，但每個 term 對應的 posting lists 是以列的方式儲存的。隨著單個 term 的 posting lists 的增大，查詢時的速度受到的影響會非常大

後端技術雜談4：Elasticsearch與solr入門實踐

相關文章