Elasticsearch——mget及bulk

Dictator丶發表於2019-02-16

1. mget批量查詢

1.1 批量查詢的好處

如果查詢100條資料，一條一條的查的話，就需要傳送100條資料，如果進行批量查詢的話，只需要傳送一次網路請求。

一般來說，在進行查詢的時候，如果一次性要查詢多條資料的話，那麼一定要用batch批量操作的api 儘可能減少網路開銷次數，可能可以將效能提升數倍，甚至數十倍，非常非常之重要

1.2 語法

一條一條的查詢

GET test_index/test_type/1
GET test_index/test_type/2
返回
{
  "_index": "test_index",
  "_type": "test_type",
  "_id": "1",
  "_version": 1,
  "found": true,
  "_source": {
    "test_field": "create id by myself"
  }
}
複製程式碼

mget批量查詢

GET /_mget
{
  "docs": [
    {
      "_index": "test_index",
    "_type": "test_type",
    "_id": "1"
    },
    {
      "_index": "test_index",
    "_type": "test_type",
    "_id": "2"
    }
  ]
}
返回結果
{
  "docs": [
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "1",
      "_version": 1,
      "found": true,
      "_source": {
        "test_field": "create id by myself"
      }
    },
    {
      "_index": "test_index",
      "_type": "test_type",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "name": "Tom",
        "age": 12,
        "gender": "M"
      }
    }
  ]
}
複製程式碼

如果查詢的document是一個index下的不同type種的話

GET /test_index/_mget
{
   "docs" : [
      {
         "_type" :  "test_type",
         "_id" :    1
      },
      {
         "_type" :  "test_type",
         "_id" :    2
      }
   ]
}
複製程式碼

如果查詢的資料都在同一個index下的同一個type下，最簡單了

GET /test_index/test_type/_mget
{
   "ids": [1, 2]
}
複製程式碼

2. bulk批量增刪改

2.1 語法

每個操作需要兩個 json 串，語法如下：

{"action": {"metadata"}}
{"data"}
複製程式碼

舉例，比如你現在要建立一個文件，放bulk裡面，看起來會是這樣子的：

{"index": {"_index": "test_index", "_type", "test_type", "_id": "1"}}
{"test_field1": "test1", "test_field2": "test2"}
複製程式碼

bulk api 對 json 的語法，有嚴格的要求，每個json串不能換行，只能放一行，同時一個json串和一個json串之間，必須有一個換行

單個json串裡面有換行的話，會報錯：

{
  "error": {
    "root_cause": [
      {
        "type": "json_e_o_f_exception",
        "reason": "Unexpected end-of-input: expected close marker for Object (start marker at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@79a526fa; line: 1, column: 1])\n at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@79a526fa; line: 1, column: 3]"
      }
    ],
    "type": "json_e_o_f_exception",
    "reason": "Unexpected end-of-input: expected close marker for Object (start marker at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@79a526fa; line: 1, column: 1])\n at [Source: org.elasticsearch.transport.netty4.ByteBufStreamInput@79a526fa; line: 1, column: 3]"
  },
  "status": 500
}
複製程式碼

2.2 可執行的操作

delete：刪除一個文件，只要1個json串就可以了
create：PUT /index/type/id/_create，強制建立
index：普通的put操作，可以是建立文件，也可以是全量替換文件
update：執行的 partial update 操作

2.3 示例

POST /_bulk
{"delete": {"_index": "test_index", "_type": "test_type", "_id": "2"}}
{"create": {"_index": "test_index", "_type": "test_type", "_id":6}}
{"test_field": "create id 6"}
{"index": {"_index": "test_index", "_type": "test_type", "_id": 7}}
{"test_field": "put id 7"}
{"update": {"_index": "test_index", "_type": "test_type", "_id": 1}}
{"doc": {"test_field": "update id 1"}}
返回結果：
{
  "took": 62,
  "errors": false,
  "items": [
    {
      "delete": {
        "found": true,
        "_index": "test_index",
        "_type": "test_type",
        "_id": "2",
        "_version": 2,
        "result": "deleted",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "status": 200
      }
    },
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "6",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "created": true,
        "status": 201
      }
    },
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "7",
        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "created": true,
        "status": 201
      }
    },
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "1",
        "_version": 2,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "status": 200
      }
    }
  ]
}
複製程式碼

bulk操作中，任意一個操作失敗，是不會影響其他的操作的，但是在返回結果裡，會告訴你異常日誌

上面我們已經create了 _id 為6的資料，我們再create一次，肯定會報錯，執行以下語句：

POST /_bulk
{"delete": {"_index": "test_index", "_type": "test_type", "_id": "2"}}
{"create": {"_index": "test_index", "_type": "test_type", "_id":6}}
{"test_field": "create id 6"}
{"index": {"_index": "test_index", "_type": "test_type", "_id": 9}}
{"test_field": "put id 9"}
{"update": {"_index": "test_index", "_type": "test_type", "_id": 1}}
{"doc": {"test_field": "update id 1"}}
返回結果：
{
  "took": 10,
  "errors": true,
  "items": [
    {
      "delete": {
        "found": false,
        "_index": "test_index",
        "_type": "test_type",
        "_id": "2",
        "_version": 1,
        "result": "not_found",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "status": 404
      }
    },
    {
      "create": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "6",
        "status": 409,
        "error": {
          "type": "version_conflict_engine_exception",
          "reason": "[test_type][6]: version conflict, document already exists (current version [1])",
          "index_uuid": "rsiZYqiwSCC2XdR8N2bJow",
          "shard": "2",
          "index": "test_index"
        }
      }
    },
    {
      "index": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "9",
        "_version": 2,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "created": false,
        "status": 200
      }
    },
    {
      "update": {
        "_index": "test_index",
        "_type": "test_type",
        "_id": "1",
        "_version": 2,
        "result": "noop",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "status": 200
      }
    }
  ]
}
複製程式碼

可以看到返回結果中 create 報錯

如果修改的是同一個index，同一個index和同一個type，下面的語法也可以：

POST /test_index/_bulk
{ "delete": { "_type": "test_type", "_id": "3" }} 
{ "create": { "_type": "test_type", "_id": "12" }}
{ "test_field":    "test12" }
{ "index":  { "_type": "test_type" }}
{ "test_field":    "auto-generate id test" }
{ "index":  { "_type": "test_type", "_id": "2" }}
{ "test_field":    "replaced test2" }
{ "update": { "_type": "test_type", "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }

POST /test_index/test_type/_bulk
{ "delete": { "_id": "3" }} 
{ "create": { "_id": "12" }}
{ "test_field":    "test12" }
{ "index":  { }}
{ "test_field":    "auto-generate id test" }
{ "index":  { "_id": "2" }}
{ "test_field":    "replaced test2" }
{ "update": { "_id": "1", "_retry_on_conflict" : 3} }
{ "doc" : {"test_field2" : "bulk test1"} }
複製程式碼

2.4 bulk size 最佳大小

bulk request會載入到記憶體裡，如果太大的話，效能反而會下降，因此需要反覆嘗試一個最佳的bulk size。一般從1000~5000條資料開始，嘗試逐漸增加。另外，如果看大小的話，最好是在5~15MB之間。

2.5 _bulk api的奇特json格式與底層效能優化關係

bulk api奇特的json格式

{"action": {"meta"}}
{"data"}
{"action": {"meta"}}
{"data"}
複製程式碼

為什麼不是下面這種格式

[{
  "action": {
 
  },
  "data": {

  }
}]
複製程式碼

bulk中的每個操作都可能要轉發到不同的node的shard去執行
如果採用比較良好的json陣列格式

允許任意的換行，整個可讀性非常棒，讀起來很爽，es拿到那種標準格式的json串以後，要按照下述流程去進行處理
- 將json陣列解析為JSONArray物件，這個時候，整個資料，就會在記憶體中出現一份一模一樣的拷貝，一份資料是json文字，一份資料是JSONArray物件
- 解析json陣列裡的每個json，對每個請求中的document進行路由
- 為路由到同一個shard上的多個請求，建立一個請求陣列
- 將這個請求陣列序列化
- 將序列化後的請求陣列傳送到對應的節點上去
耗費更多記憶體，更多的jvm gc開銷

我們之前提到過bulk size最佳大小的那個問題，一般建議說在幾千條那樣，然後大小在10MB左右，所以說，可怕的事情來了。假設說現在100個bulk請求傳送到了一個節點上去，然後每個請求是10MB，100個請求，就是1000MB = 1GB，然後每個請求的json都copy一份為jsonarray物件，此時記憶體中的佔用就會翻倍，就會佔用2GB的記憶體，甚至還不止。因為弄成jsonarray之後，還可能會多搞一些其他的資料結構，2GB+的記憶體佔用。

佔用更多的記憶體可能就會積壓其他請求的記憶體使用量，比如說最重要的搜尋請求，分析請求，等等，此時就可能會導致其他請求的效能急速下降另外的話，佔用記憶體更多，就會導致java虛擬機器的垃圾回收次數更多，跟頻繁，每次要回收的垃圾物件更多，耗費的時間更多，導致es的java虛擬機器停止工作執行緒的時間更多
現在的奇特格式
```
{"action": {"meta"}}
{"data"}
{"action": {"meta"}}
{"data"}
複製程式碼
```
- 不用將其轉換為json物件，不會出現記憶體中的相同資料的拷貝，直接按照換行符切割json
- 對每兩個一組的json，讀取meta，進行document路由
- 直接將對應的json傳送到node上去
最大的優勢在於，不需要將json陣列解析為一個JSONArray物件，形成一份大資料的拷貝，浪費記憶體空間，儘可能地保證效能

Elasticsearch的Bulk API使用
2016-09-04
ElasticsearchAPI
ElasticSearch7.4批量匯入_bulk
2020-01-19
Elasticsearch
【elasticsearch】bulk api奇特的json格式的原因
2020-10-03
ElasticsearchAPIJSON
Bulk 異常引發的 Elasticsearch 記憶體洩漏
2018-08-29
Elasticsearch記憶體
elasticsearch bulk資料--ES批量匯入json資料
2017-11-22
ElasticsearchJSON
Go 呼叫 elasticsearch 批量操作介面 “/_bulk” ，提示"\n"錯誤
2018-08-08
GoElasticsearch
ElasticSearch 文件及操作
2021-02-22
Elasticsearch
ElasticSearch CURD Sense 及常用操作
2016-06-02
Elasticsearch
ElasticSearch(一)ElasticSearch的應用場景及為什麼要選擇ElasticSearch？
2018-01-10
Elasticsearch
Elasticsearch入門及掌握其JavaAPI
2019-04-23
ElasticsearchJavaAPI
ElasticSearch安裝及java Api使用
2019-01-10
ElasticsearchJavaAPI
Elasticsearch——叢集管理及文件CRUD
2019-01-26
Elasticsearch
Elasticsearch常用配置及效能引數
2017-12-26
Elasticsearch
ELK研究（一）:elasticsearch java api介面操作ES叢集 ---TransportClient的使用介紹 bulk批量提交資料
2017-11-09
ElasticsearchJavaAPIclient
Linux基礎命令---mget獲取ftp檔案
2019-05-20
LinuxFTP
ftp下載的時候用mget命令出錯
2008-04-09
FTP
dbms_sql之通用general及bulk批量（大體積）type 型別
2010-08-02
SQL型別
Oracle 的 bulk collect用法
2011-01-13
Oracle
sqlserver bulk insert報錯Cannot bulk load because the file could not be opened.
2020-09-22
SQLServer
ElasticSearch 7.6.2 下載包及安裝
2020-04-09
Elasticsearch
ElasticSearch基礎及查詢語法
2019-05-03
Elasticsearch
Elasticsearch（二）--叢集原理及優化
2021-12-31
Elasticsearch優化
Elasticsearch及java客戶端jest使用
2014-12-17
ElasticsearchJava客戶端
mongodb批量操作， bulk_write，
2018-08-13
MongoDB
Bulk Insert命令具體
2014-11-04
【PL/SQL】初試 bulk collect
2011-02-24
SQL
Redis 叢集到底支援不支援批處理指令MGET等
2019-03-04
Redis
docker安裝elasticsearch及kibana部署、操作
2021-09-06
DockerElasticsearch
bulk insert 在mssql中使用
2017-06-29
SQL
資訊批量提取工具bulk-extractor
2017-06-14
oracle bulk collects 之 java select
2012-07-17
OracleJava
BULK COLLECT FAILS WITH ORA-04030
2007-06-11
AI
pl/sql中bulk collect的用法
2012-02-19
SQL
Elasticsearch 7.x 安裝及配置指導
2020-08-28
Elasticsearch
elasticsearch 索引清理指令碼及常用命令
2020-09-19
Elasticsearch索引指令碼
109.全文檢索-ElasticSearch-入門-刪除資料&bulk批量操作匯入樣本測試資料
2020-10-22
Elasticsearch
26_上機動手實戰演練mget批次查詢api
2024-10-01
API
使用BULK COLLECT+FORALL加速批量提交
2014-06-26