只需五步驟：
- 啟動 整合ik中文分詞外掛的Elasticsearch7.9 Docker映象
- Laravel7 配置 Scout
- 配置 Model模型
- 匯入資料
- 搜尋
演示地址
www.ar414.com
搜尋範圍
- 文章內容
- 標題
- 標籤
結果權重
- 出現關鍵詞數量
- 出現關鍵詞次數
搜尋頁面
- 高亮顯示
- 分詞顯示
- 結果分頁
前言
主要是部落格剛好想做個搜尋,順便就整理成文章
Laravel + Elasticsearch 很多前輩都寫過教程和案例,但是隨著Elasticsearch和laravel的版本升級 以前的文章很多都不適用新版本的,建議大家使用任何開源專案時應該過一遍文件以當前使用的版本文件為主,教程為輔
參考
使用整合ik中文分詞外掛的Elasticsearch
拉取docker
$ docker pull ar414/elasticsearch-7.9-ik-plugin建立日誌和資料儲存目錄
本地對映到docker容器內，防止docker重啟資料丟失
$ mkdir -p /data/elasticsearch/data
$ mkdir -p /data/elasticsearch/log
$ chmod -R 777 /data/elasticsearch/data
$ chmod -R 777 /data/elasticsearch/log執行
docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /data/elasticsearch/data:/var/lib/elasticsearch -v /data/elasticsearch/log:/var/log/elasticsearch ar414/elasticsearch-7.9-ik-plugin 驗證
$ curl http://localhost:9200
{
"name" : "01ac21393985",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "h8L336qcRb2i1aydOv04Og",
"version" : {
"number" : "7.9.0",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "a479a2a7fce0389512d6a9361301708b92dff667",
"build_date" : "2020-08-11T21:36:48.204330Z",
"build_snapshot" : false,
"lucene_version" : "8.6.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}測試中文分詞
curl -X POST "http://localhost:9200/_analyze?pretty" -H 'Content-Type: application/json' -d'
{
"analyzer": "ik_max_word",
"text": "laravel天下無敵"
}
'
{
"tokens" : [
{
"token" : "laravel",
"start_offset" : 0,
"end_offset" : 7,
"type" : "ENGLISH",
"position" : 0
},
{
"token" : "天下無敵",
"start_offset" : 7,
"end_offset" : 11,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "天下",
"start_offset" : 7,
"end_offset" : 9,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "無敵",
"start_offset" : 9,
"end_offset" : 11,
"type" : "CN_WORD",
"position" : 3
}
]
}
Laravel 專案中使用 Elasticsearch
Elasticsearch官方有提供 SDK，在 Laravel 專案中可以更加優雅快速的接入 Elasticsearch，Laravel 本身有提供 Scout全文搜尋 的解決方案，我們只需將預設的 Algolia 驅動 替換成ElasticSearch驅動。
安裝
- laravel/scout
- matchish/laravel-scout-elasticsearch
$ composer require laravel/scout $ composer require matchish/laravel-scout-elasticsearch
配置
生成 Scout 配置檔案(config/scout.php)
$ php artisan vendor:publish --provider="Laravel\Scout\ScoutServiceProvider" Copied File [\vendor\laravel\scout\config\scout.php] To [\config\scout.php] Publishing complete.指定 Scout 驅動
- 第一種：在
.env檔案中指定（建議）SCOUT_DRIVER=Matchish\ScoutElasticSearch\Engines\ElasticSearchEngine - 第二種：在
config/scout.php直接修改預設驅動'driver' => env('SCOUT_DRIVER', 'algolia') 改為 'driver' => env('SCOUT_DRIVER', 'Matchish\ScoutElasticSearch\Engines\ElasticSearchEngine')
指定Elasticsearch服務IP埠
如果使用docker部署則使用
docker0的IP，Linux通過ifconfig檢視在
.env中配置ELASTICSEARCH_HOST=172.17.0.1:9200註冊服務
config/app.php'providers' => [ // Other Service Providers \Matchish\ScoutElasticSearch\ElasticSearchServiceProvider::class ],清除配置快取
$ php artisan config:clear
至此 laravel 已經接入 Elasticsearch
實際業務中使用
需求
通過部落格右上角的搜尋框可以搜尋到與關鍵詞相關的文章，從以下幾點匹配
- 文章內容
- 文章標題
- 文章標籤
涉及到2張 Mysql表 以及欄位
- article
- title
- tags
- article_content
- content
為文章配置 Elasticsearch 索引
建立索引配置檔案（config/elasticsearch.php）
$ touch config/elasticsearch.phpelasticsearch.php 配置欄位對映
<?php return [ 'indices' => [ 'mappings' => [ 'blog-articles' => [ "properties"=> [ "content"=> [ "type"=> "text", "analyzer"=> "ik_max_word", "search_analyzer"=> "ik_smart" ], "tags"=> [ "type"=> "text", "analyzer"=> "ik_max_word", "search_analyzer"=> "ik_smart" ], "title"=> [ "type"=> "text", "analyzer"=> "ik_max_word", "search_analyzer"=> "ik_smart" ] ] ] ] ], ];
- analyzer：欄位文字的分詞器
- search_analyzer：搜尋詞的分詞器
- 根據具體業務場景選擇(顆粒小佔用資源多,一般場景analyzer使用ik_max_word,search_analyzer使用ik_smart):
- ik_max_word：ik中文分詞外掛提供,對文字進行最大數量分詞
laravel天下無敵->laravel，天下無敵,天下,無敵 - ik_smart: ik中文分詞外掛提供,對文字進行最小數量分詞
laravel天下無敵->laravel，天下無敵
- ik_max_word：ik中文分詞外掛提供,對文字進行最大數量分詞
配置文章模型
建議先看一遍 Laravel Scout 使用文件
引入Laravel Scout
namespace App\Models\Blog; use Laravel\Scout\Searchable; class Article extends BlogBaseModel { use Searchable; }指定索引(剛剛配置檔案中的elasticsearch.indices.mappings.blog-articles)
/** * 指定索引 * @return string */ public function searchableAs() { return 'blog-articles'; }設定匯入索引的資料欄位
/** * 設定匯入索引的資料欄位 * @return array */ public function toSearchableArray() { return [ 'content' => ArticleContent::query() ->where('article_id',$this->id) ->value('content'), 'tags' => implode(',',$this->tags), 'title' => $this->title ]; }指定 搜尋索引中儲存的唯一ID
/** * 指定 搜尋索引中儲存的唯一ID * @return mixed */ public function getScoutKey() { return $this->id; } /** * 指定 搜尋索引中儲存的唯一ID的鍵名 * @return string */ public function getScoutKeyName() { return 'id'; }
資料匯入
其實是將資料表中的資料通過Elasticsearch匯入到Lucene
Elasticsearch 是 Lucene 的封裝，提供了 REST API 的操作介面
- 一鍵自動匯入:
php artisan scout:import - 匯入指定模型:
php artisan scout:import ${model}
$ php artisan scout:import "App\Models\Blog\Article"
Importing [App\Models\Blog\Article]
Switching to the new index
5/5 [⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬⚬] 100%
[OK] All [App\Models\Blog\Article] records have been imported.匯入失敗,常見原因:
- Unresolvable dependency resolving [Parameter #0 [ integer $retries ]] in class Elasticsearch\Transport
- 解決: 修改配置後,沒有清除配置快取
- invalid_index_name_exception
- 解決: searchableAs配置錯誤,為索引建立別名後,指定別名
檢查索引是否正確
$ curl -XGET http://localhost:9200/blog-articles/_mapping?pretty
{
"blog-articles_1598362919" : {
"mappings" : {
"properties" : {
"__class_name" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keyword",
"ignore_above" : 256
}
}
},
"content" : {
"type" : "text",
"analyzer" : "ik_max_word",
"search_analyzer" : "ik_smart"
},
"tags" : {
"type" : "text",
"analyzer" : "ik_max_word",
"search_analyzer" : "ik_smart"
},
"title" : {
"type" : "text",
"analyzer" : "ik_max_word",
"search_analyzer" : "ik_smart"
}
}
}
}
}測試
建立一個測試命令列
$ php artisan make:command ElasticTest程式碼
<?php
namespace App\Console\Commands;
use App\Models\Blog\Article;
use App\Models\Blog\ArticleContent;
use Illuminate\Console\Command;
use Illuminate\Support\Carbon;
class ElasticTest extends Command
{
/**
* The name and signature of the console command.
*
* @var string
*/
protected $signature = 'elasticsearch {query}';
/**
* The console command description.
*
* @var string
*/
protected $description = 'elasticsearch test';
/**
* Create a new command instance.
*
* @return void
*/
public function __construct()
{
parent::__construct();
}
/**
* Execute the console command.
*
* @return mixed
*/
public function handle()
{
//
$startTime = Carbon::now()->getPreciseTimestamp(3);
$articles = Article::search($this->argument('query'))->get()->toArray();
$userTime = Carbon::now()->getPreciseTimestamp(3) - $startTime;
echo "耗時(毫秒)：{$userTime} \n";
//content在另外一張表中，方便觀察測試 這裡輸出
if(!empty($articles)) {
foreach($articles as &$article) {
$article = ArticleContent::query()->where('article_id',$article['id'])->value('content');
}
}
var_dump($articles);
}
}
- 測試
$ php artisan elasticsearch 周杰倫
- 複雜查詢
例如：自定義高亮顯示//ONGR\ElasticsearchDSL\Highlight\Highlight ArticleModel::search($query,function($client,$body) { $higlight = new Highlight(); $higlight->addField('content',['type' => 'plain']); $higlight->addField('title'); $higlight->addField('tags'); $body->addHighlight($higlight); $body->setSource(['title','tags']); return $client->search(['index' => (new ArticleModel())->searchableAs(), 'body' => $body->toArray()]); })->raw();
複雜自定義查詢回撥中的$client和$body，可根據這兩個包進行靈活操作
- $client 官方 elasticsearch/elasticsearch package
- $body ongr/elasticsearch-dsl package
本作品採用《CC 協議》，轉載必須註明作者和本文連結