### 背景

我們在使用 Elasticsearch 的時候，可能會遇到資料“丟”了的情況。有可能是資料沒成功寫入 ES 叢集，也可能是資料被誤刪了。

針對資料被誤刪，有沒有好的解決辦法呢？

其實我們可以把“刪除資料”這個操作管理起來。當 ES 叢集接收到刪除資料命令的時候，先不執行該命令，而是生成一條刪除資料的記錄，經過管理人員批准後，該命令才會執行。這樣不僅可以管理資料的刪除，還可以進行刪除操作的追蹤：什麼人，什麼時間，傳送了什麼樣的刪除指令，從哪個 IP 傳送的，以什麼身份登入的等等。

要實現這個解決辦法，我們可藉助 INFINI Gateway 和 Console 的幫助。

### 方案架構

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p1.png)

### 方案效果

- INFINI Gateway 作為 ES 叢集的代理，接收所有請求
- INFINI Gateway 對刪除資料操作進行攔截，在 Console UI 介面生成記錄
- 管理人員 在 Console UI 介面審批操作記錄，審批透過操作被執行

### 方案演示

#### 測試資料準備

測試索引 test1，一共有 3 條資料。message 內容分別是"line 1"，"line 2"和"line 3"。

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p2.png)

#### 啟動 INFINI Gateway 及 Console

閘道器配置新增內容

增加對 DELETE 操作的捕獲，不直接執行，寫入佇列中。後續由佇列生成特定的記錄。

```
router:
  - name: my_router
    default_flow: default_flow
    tracing_flow: logging_flow
    rules:
      - method:
          - "DELETE"
        pattern:
          - "/{any_index}"
          - "/{any_index}/{any_type}"
          - "/{any_index}/{any_type}/{any_docid}"
        flow:
          - audit_flow
      - method:
          - "*"
        pattern:
          - "/{any_index}/_delete_by_query"
          - "/_delete_by_query"
        flow:
          - audit_flow
flow:
  - name: audit_flow
    filter:
      - logging:
          queue_name: del_queue
pipeline:
  - name: del_queue_ingest
    auto_start: true
    keep_running: true
    processor:
      - json_indexing:
          input_queue: "del_queue"
          idle_timeout_in_seconds: 1
          elasticsearch: "logging-server"
          index_name: "del_requests"
          worker_size: 1
          bulk_size_in_kb: 1
```

#### 執行刪除操作

ES 支援多種刪除操作，簡單總結歸納如下：

1. 刪除指定檔案 id
2. 刪除索引
3. 根據查詢刪除指定資料（\_delete_by_query）

執行刪除操作之前，先透過 INFINI Gateway 訪問 ES 叢集，證明可正常訪問資料。
![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p3.png)
執行上述的幾種刪除命令，注意要發給 INFINI Gateway 的 8000 埠。
![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p4.png)

#### 資料查詢驗證資料還在

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p5.png)

#### Console 介面檢視未批准的刪除記錄

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p6.png)

所有刪除操作，都被記錄，待審批

#### Console 介面進行審批透過

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p7.jpg)

選擇一條記錄，批准執行。Operation-approve

#### 資料查詢驗證資料

"message": "line 2"的檔案已被刪除。

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p8.png)

#### Console 介面檢視歷史記錄

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p9.png)

#### 繼續批准測試

**批准刪除一條檔案**

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p10.png)

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p11.png)

"message": "line 1" 的檔案不在了。

**批准刪除索引**

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p12.png)

![](http://www.infinilabs.com/img/blog/2023/manage-es-del-ops/p13.png)

索引不在了。

至此我們演示瞭如何利用 INFINI Gateway 和 Console 對 ES 叢集刪除操作進行管控，本文只是拋磚引玉，相信還有更多有意思的場景等待大家發掘。

ES資料沒了？誰動了我的資料？

相關文章