前言
ElasticSearch 簡稱 es,是一個開源的高擴充套件的分散式全文檢索引擎,目前最新版本已經到了8.11.x了。
它可以近乎實時的儲存、檢索資料,且其擴充套件性很好,是企業級應用中較為常見的檢索技術。
下面主要記錄學習 ElasticSearch7.x 的一些基本結構、在Spring Boot 專案裡基本應用的過程,在這裡與大家作分享交流。
一、新增依賴
這裡引用的依賴是 starter-data-elasticsearch,版本應與 Spring Boot(我是2.7.2)的版本一致,並不是 Elasticsearch 的版本。
<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-elasticsearch -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
<version>2.7.2</version>
</dependency>
二、 yml 配置
spring:
elasticsearch:
uris: http://遠端主機的公網IP:9200
username: 自己的使用者名稱
password: 自己的密碼
使用 Docker 安裝的 Elasticsearch 設定賬號/密碼教程:https://blog.csdn.net/qq_38669698/article/details/130529829
因為 ES 設定了密碼,所以 Kibana 的配置也需要修改:https://blog.csdn.net/weixin_45956631/article/details/130636880
三、注入依賴
-
(推薦)ElasticsearchRestTemplate 類來源於 org.springframework.data.elasticsearch.core 包,封裝了 Elasticsearch 的 RESTful API,使用起來很便捷。
//直接引入即可,無需額外的 Bean 配置和序列化配置 @Resource private ElasticsearchRestTemplate elasticTemplate;
-
(推薦)ElasticsearchRepository 介面來源於 org.springframework.data.elasticsearch.repository 包, 該介面用於簡化對 Elasticsearch 中資料的操作。
public interface ArticleRepository extends ElasticsearchRepository<ESArticle, String>{}
注:ESArticle 為實體類,String 表示唯一 Id 的資料型別。
-
(不推薦)在 Elasticsearch 7.15版本之後,官方已將它的高階客戶端 RestHighLevelClient 標記為棄用狀態,之後的版本會推薦新的 RestClient。
經過筆者對比實踐,無論是新/舊客戶端,在 Spring Boot 專案中都沒有上面前兩個使用起來便捷。但值得注意的是,很多企業以前的專案都會使用舊的 RestHighLevelClient 來寫業務。
@Resource private RestHighLevelClient highLevelClient; @Resource private RestClient restClient;
四、CRUD 常用 API
-
ES 實體類
和 MySQL、MongoDB 在 Spring 中的實體類一樣,需要將欄位和類屬性進行對映,同樣還可以使用註解進行簡單配置。
以下是文章 ESArticle 的實體類,屬性包含標題、內容、標籤、點贊數/收藏數等:
@Data @Document(indexName = "article") @EqualsAndHashCode(callSuper = true) public class ESArticle extends BaseEntity implements Serializable { private static final String DATE_TIME_PATTERN = "yyyy-MM-dd HH:mm:ss"; /** * 唯一標識 id */ @Id @Field(type = FieldType.Text) private String id; /** * 標題,欄位型別為 Text,沒有 String 型別;分詞型別為 ik 分詞器的最細顆粒度劃分法。 */ @Field(type = FieldType.Text, analyzer = "ik_max_word") private String title; /** * 內容 */ @Field(type = FieldType.Text, analyzer = "ik_max_word") private String content; /** * 標籤列表 */ private List<String> tags; /** * 點贊數 */ private Integer thumbNum; /** * 收藏數 */ private Integer favourNum; /** * 建立使用者 id */ @Field(type = FieldType.Text) private String userId; /** * 建立時間,單獨儲存,欄位型別為 Date ,自定義格式 */ @Field(store = true, type = FieldType.Date, format = {}, pattern = DATE_TIME_PATTERN) private Date createTime; /** * 更新時間,單獨儲存,欄位型別為 Date ,自定義格式 */ @Field(store = true, type = FieldType.Date, format = {}, pattern = DATE_TIME_PATTERN) private Date updateTime; /** * 是否刪除 */ private Integer isDelete; }
-
documents 操作
documents 的概念和 MySQL 中的行類似,指的是一條條的記錄,但是 ES 裡所有的資料都是 JSON 格式的,所以看起來就像是一個個文件了。
以下簡單的 CRUD 都由 ArticleRepository 來完成,下一小節複雜的查詢交給 ElasticsearchRestTemplate 來完成。
-
新增(批次)
@Resource private ArticleMapper articleMapper; @Resource private ArticleRepository articleRepository; //todo: ES裡的資料來源於資料庫,需要做遷移,業務資料不會直接寫進資料庫 //todo: 有全量和增量兩種方式做資料遷移,或者引入第三方框架處理 //todo: 此處暫不做資料遷移展示,就直接往 ES 裡寫,然後就當 ES 裡已經有資料了,再做 CRUD 以及查詢 @Override public Boolean addDocuments(){ LambdaQueryWrapper<Article> wrapper = new LambdaQueryWrapper<>(); List<Article> articleList = articleMapper.selectList(wrapper); if (CollectionUtils.isNotEmpty(articleList)){ // 這裡是兩個實體的屬性轉換,這裡不過多展開講 List<ESArticle> esArticleList = articleList.stream().map(ESArticle::dbToEs).collect(Collectors.toList()); articleRepository.saveAll(esArticleList); return Boolean.TRUE; } return Boolean.FALSE; }
-
修改(更新)
//todo: 還可以使用 elasticTemplate 的 update() 來進行更新,不過一般沒有單獨針對 es 的資料更新需求 @Override public Boolean updateDocuments(){ ESArticle esArticle = articleRepository.findById("18094375634670546").orElse(null); if (Objects.nonNull(esArticle)){ esArticle.setTitle("測試修改標題更新操作"); articleRepository.save(esArticle); return Boolean.TRUE; } return Boolean.FALSE; }
-
獲取
@Override public List<ESArticle> getESDocuments(){ List<ESArticle> list = Lists.newArrayList(); Iterable<ESArticle> esArticleList = this.articleRepository.findAll(Sort.by(Sort.Order.desc("id"))); esArticleList.forEach(list::add); return list; }
-
刪除
@Override public Boolean deleteESDocuments(){ //如果存在該條 document 則繼續刪除 if (this.articleRepository.existsById("18094375634670546")){ this.articleRepository.deleteById("18094375634670546"); return Boolean.TRUE; } return Boolean.FALSE; }
-
-
常見條件查詢(重點)
以下會詳細地演示一下 BoolQueryBuilder 條件構造、常見 QueryBuilders 的方法等多條件複雜查詢場景:
//todo: 企業專案中真正的複雜條件查詢 @Override public PageInfo<ESArticle> testSearchFromES(ArticleSearchDTO articleSearchDTO){ //完整的合法 id String id = articleSearchDTO.getId(); //非法 id String notId = articleSearchDTO.getNotId(); //搜尋框輸入的內容(實際會從標籤/內容/標題中查詢) String searchText = articleSearchDTO.getSearchWord(); //單獨在標題中查詢 String title = articleSearchDTO.getTitle(); //單獨在內容中查詢 String content = articleSearchDTO.getContent(); //單獨在標籤中查詢(全部標籤) List<String> tagList = articleSearchDTO.getTags(); //任意標籤 List<String> orTagList = articleSearchDTO.getOrTags(); //按照建立者的 userId 查詢 String userId = articleSearchDTO.getUserId(); // 布林查詢初始化 BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); // 過濾,首先被刪除的就不要了 boolQueryBuilder.filter(QueryBuilders.termQuery(this.fn.fnToFieldName(ESArticle::getIsDelete), NumberUtils.INTEGER_ZERO)); //如果輸入的是 id 那麼就不對 id 分詞,然後過濾掉不符合該 id 的其它文件 if (StringUtils.isNotBlank(id)) { boolQueryBuilder.filter(QueryBuilders.termQuery("id", id)); } //如果輸入的是非法 id 那麼什麼也查不到,取反(也就是所有)返回 if (StringUtils.isNotBlank(notId)) { boolQueryBuilder.mustNot(QueryBuilders.termQuery("id", notId)); } //建立者 userId 也不分詞,過濾掉不匹配的 if (StringUtils.isNotBlank(userId)) { boolQueryBuilder.filter(QueryBuilders.termQuery("createId", userId)); } // 必須包含所有標籤 if (CollectionUtils.isNotEmpty(tagList)) { for (String tag : tagList) { boolQueryBuilder.filter(QueryBuilders.termQuery("tags", tag)); } } // 包含任何一個標籤即可 if (CollectionUtils.isNotEmpty(orTagList)) { BoolQueryBuilder orTagBoolQueryBuilder = QueryBuilders.boolQuery(); // DB 實體中 tag 欄位為 String,而 ES 實體該欄位的型別為 List,所以做迴圈遍歷 for (String tag : orTagList) { orTagBoolQueryBuilder.should(QueryBuilders.termQuery("tags", tag)).minimumShouldMatch(1); } //filter 可以結合 bool 做更復雜的過濾 boolQueryBuilder.filter(orTagBoolQueryBuilder); } // 按關鍵詞檢索(主要的搜尋框,關鍵詞會在兩個欄位裡匹配) if (StringUtils.isNotBlank(searchText)) { boolQueryBuilder.should(QueryBuilders.matchQuery("title", searchText)); boolQueryBuilder.should(QueryBuilders.matchQuery("content", searchText)); boolQueryBuilder.minimumShouldMatch(1); } // 單獨按標題檢索 if (StringUtils.isNotBlank(title)) { boolQueryBuilder.should(QueryBuilders.matchQuery("title", title)); } // 單獨按內容檢索 if (StringUtils.isNotBlank(content)) { boolQueryBuilder.should(QueryBuilders.matchQuery("content", content)); } }
-
分頁查詢
Spring Data 自帶的分頁方案,即 PageRequest 物件:
// 分頁引數:起始頁為 0 long current = articleSearchDTO.getCurrent() - 1; long pageSize = articleSearchDTO.getPageSize(); PageRequest pageRequest = PageRequest.of((int) current, (int) pageSize);
-
排序
設定了按條件排序則以排序欄位為準來返回,沒設定排序則預設按照分數,即匹配度返回:
// 排序欄位,可以支援多個 String sortField = articleSearchDTO.getSortField(); SortBuilder<?> sortBuilder = SortBuilders.scoreSort(); if (StringUtils.isNotBlank(sortField)) { sortBuilder = SortBuilders.fieldSort(sortField).order(SortOrder.DESC); }
-
構造查詢
將所有的條件放進 NativeSearchQueryBuilder 物件,並呼叫elasticTemplate.search()方法,最後放入PageInfo(這裡引入的是com.github.pagehelper)物件返回:
// 構造查詢 NativeSearchQuery searchQuery = new NativeSearchQueryBuilder() .withQuery(boolQueryBuilder) .withSorts(sortBuilder) .withPageable(pageRequest).build(); // 獲取查詢物件的結果:放入所有條件,指定索引實體 SearchHits<ESArticle> searchHits = elasticTemplate.search(searchQuery, ESArticle.class); //todo: 先以 ES 的資料為準,後期資料遷移再考慮使用 MySQL 的資料來源 //初始化 page 物件 PageInfo<ESArticle> pageInfo = new PageInfo<>(); pageInfo.setList(searchHits.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList())); pageInfo.setTotal(searchHits.getTotalHits()); System.out.println(pageInfo); return pageInfo;
-
測試呼叫
@Test public void testSearchFromES(){ ArticleSearchDTO articleSearchDTO = new ArticleSearchDTO(); articleSearchDTO.setId("18094375634670546"); //articleSearchDTO.setSearchWord("是"); //articleSearchDTO.setTitle("標題"); //articleSearchDTO.setTags(Collections.singletonList("es")); //articleSearchDTO.setSortField("createTime"); esTestService.testSearchFromES(articleSearchDTO); }
測試資料如下圖所示:
五、文章小結
使用 ElasticSearch 實現全文檢索的過程並不複雜,只要在業務需要的地方建立 ElasticSearch 索引,將資料放入索引中,就可以使用 ElasticSearch 整合在 Spring Boot 中對搜尋物件進行查詢操作了。
無論是建立索引、精準匹配、還是欄位高亮等操作,其本質上還是一個物件導向的過程。和 Java 中的其它“物件”一樣,只要靈活運用這些“物件”的使用規則和特性,就可以滿足業務上的需求。
關於 ElasticSearch7.x 的基本結構和在 Spring Boot 專案中的整合應用就和大家分享到這裡。如有錯誤和不足,還期待大家的指正與交流。
參考文件:
- ElasticSearch 官方查詢 API 文件:https://www.elastic.co/guide/en/elasticsearch/reference/current/search.html
- Spring Data ElasticSearch 官方:https://docs.spring.io/spring-data/redis/docs/2.6.10/api/