教你如何在 elasticsearch 中重建索引

TeambitionNG發表於2018-05-15
Elasticsearch索引

序言

image

Elasticsearch 是一個實時的分散式搜尋分析引擎。Teambition 使用 Elastisearch 作為搜尋引擎，為使用者提供搜尋服務，當我們決定儲存某種資料時，我們需要使用PUT /teambition建立索引，在建立索引的時候需要將資料結構完整確定下來，於此同時索引的設定和很多固定配置將用不能改變。當需要改變資料結構時，就需要重新建立索引，為此，Elastic團隊提供了很多輔助工具幫助開發人員進行重建索引。

決定是否需要重建？

教你如何在 elasticsearch 中重建索引

重建時相當痛苦的，如果沒有很好的基礎，服務可能中斷，當資料量非常大時，重建恢復時間可能很長，甚至在重建過程中出錯等等。所以，沒有萬不得已的情況下還是儘量避免重建索引。Teambition 重建索引的理由略，因為這並不重要。

使用正確的工具

kibana 是 Elasticsearch 的最佳拍檔，從 ES 5.0 開始，Kibana 強大的功能能夠替代幾乎所有舊時代 ES 1.x 和 ES 2.x 的外掛。關鍵是人家還是免費的！

教你如何在 elasticsearch 中重建索引

先決條件

教你如何在 elasticsearch 中重建索引

正在執行的服務必須使用別名(alias)來訪問索引(index)，原因很簡單，搜尋服務最終要使用重建的索引，原始的索引將被刪除。如果你的服務正在直接使用索引名，在重建前建立別名，更新服務。

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "teambition", // 原有索引
        "alias": "teambition_latest" // 服務的別名
      }
    }
  ]
}
複製程式碼

先決條件2

記得檢視 Elasticsearch 的 Disk Usage，如果不夠，請先申請好足夠的空間。

建立新索引

和建立普通索引一樣建立新索引。這裡值得一提的時，當資料量很大的時候，需要設定重新整理時間間隔，在此期間寫入的資料不能搜到，從而提高重建速度：refresh_intervals = -1, number_of_replicas = 0。實踐告訴我，大概會提高100% ~ 400%的提升。

PUT /teambition_20180328
{
  "settings": {...},
  "mapping": {...}
}
複製程式碼

記錄同步資料的偏移值(offset)

Teambition使用Kafka把MongoDB中的資料匯入到Elasticsearch中，如果沒有kafka，亦可讀取oplog的資料寫入Elasticsearch。無論使用哪種同步資料的方式，都需要記錄同步資料的offset。重建索引可能非常耗時，在這段時間內，同步程式仍然在向舊索引更新資料，此時重建索引是無法更新這些新資料的。這裡記錄的方法就不多說了，Teambition 使用 kafka-admin 的API記錄 offset。

開始重建索引

使用 Elasticsearch 團隊提供的 reindex api 就可以將資料 copy 到新索引中。這裡幾條路可以選：

  1. 當只是改變 mapping 資料結構時，可以僅僅使用 reindex api 即可。例如：刪除欄位，更新欄位分詞方式等。
  2. 當需要寫入新的欄位，新的欄位是由老的欄位計算得到時，可以使用script引數。例如，計算某條資料某欄位的總和。script 有很多坑，當 script 出錯時，reindex 跑了很久之後失敗，即使將資料恢復，也需要重新跑 reindex。
  3. 當含有很複雜的邏輯時，額，還是自己寫程式吧。

呼叫 reindex 介面，介面將會在 reindex 結束後返回，而介面返回超時只有30秒，如果 reindex 時間過長，建議加上wait_for_completion=false的引數條件，這樣 reindex 將直接返回taskId

POST _reindex?wait_for_completion=false
{
  "source": {
    "index": "teambition"
  },
  "dest": {
    "index": "teambition_20180328"
  },
  "script": {...}
}
複製程式碼

重建索引中

重建索引非常耗時，喝杯咖啡歇一會兒吧（順便去打個球，睡個覺，旅個遊）。

教你如何在 elasticsearch 中重建索引

在沒有設定 refresh_intervals 和 number_of_replicas 時，reindex 的速度在 500~1000 doc/sec, 如果包含 script 時可能會更低。設定之後，可以到 4000~8000 doc/sec。 Teambition 70M Documents 大概耗時4小時。

可以使用GET _tasks/{taskID}可以看到重建程式，其中包含耗時，剩餘doc數量等資訊。

如果發現錯誤，可以使用PUT _tasks/{taskID}/cancel介面放棄任務，從頭再來。

恢復同步資料

重建索引結束後，別忘了在setting中的將number_of_replicas和refresh_intervals設為原有值. 啟動新的同步索引的程式（從記錄 offset 開始同步）

建立新的alias

需要在同時繫結建立的新索引以及解綁舊索引，語句如下：

POST _aliases
{
  "actions": [{"add": {
    "index": "teambition_20180328",
    "alias": "teambition_latest"
  }}, {"remove": {
    "index": "teambition",
    "alias": "teambition_latest"
  }}]
}
複製程式碼

刪掉index

刪除舊的 index，釋放磁碟空間；停止原有同步程式。

DELETE teambition
複製程式碼

總結

修改索引真的是一件費時費力的工作，特別是如果發生了錯誤，整個人都不好了。所以還是在建立索引的時候儘量想好能否滿足需求，當然大家都知道這幾乎是不可能的，因為存在著萬惡的產品經理。

這裡還有一個很重要的內容沒有詳細介紹就是同步程式，前面提到同步程式是將 MongoDB 的資料同步到 ES 中去的程式，這個程式同時還需要有能力暫停同步，重複同步的等能力。

教你如何在 elasticsearch 中重建索引

相關文章