ES資料庫高可用配置

堅果Leo發表於2021-01-27
資料庫

1、ES高可用架構圖

ES資料庫最好的高可用叢集部署架構為：
三臺伺服器做master節點、三臺伺服器作為data節點（儲存資源要大）、三臺做ingest節點（用於資料轉換，可以提高ES查詢效率）

2、建立ES使用者組

Elasticsearch不能在 root 使用者下啟動，我們需要在三臺機器上分建立一個普通使用者# 建立elastic使用者

useradd elastic

設定使用者密碼

passwd elastic

測試伺服器密碼設定的是

abc123!@#

切換到elastic使用者

su elastic

分別在三臺機器上的 /home/elastic/ 目錄下分別建立data、logs資料夾。

cd /home/elastic/
mkdir data

mkdir logs在生產環境下我們要把Elasticsearch生成的索引檔案資料存放到自定義的目錄下
data：儲存Elasticsearch索引檔案資料
logs：儲存日誌檔案
3．系統設定。
使用root使用者分別在三臺伺服器上增加 /etc/sysctl.conf 配置
新增內容為

vm.max_map_count = 655300

接著輸入如下命令讓配置生效：

sysctl -p

解鎖檔案限制，增加 /etc/security/limits.conf 配置

* soft nofile 65535
* hard nofile 65535
* soft nofile 65535
* hard nofile 65535

4、配置Elasticsearch

首先我們將下載好的elasticsearch-7.6.2-linux-x86_64.tar.gz壓縮包通過elastic普通使用者，上傳到三臺伺服器叢集的/home/elastic目錄下，解壓

tar -zxvf elasticsearch-7.9.0-linux-x86_64.tar.gz

如果是root使用者，上傳壓縮包解壓後，需要修改elastic 目錄的擁有者

cd /home/
chown -R elastic elastic

解壓完成後ll檢視目錄
su elastic一定要切換使用者，切記！切記！
分別修改elasticsearch.yml配置檔案

vi /home/elastic/elasticsearch-7.9.0/config/elasticsearch.yml

cluster.name: data-cluster 
node.name: "data-es-05" 
#node.data: false 
    
# Indexing & Cache config 
index.number_of_shards: 5 
index.number_of_replicas: 1 
index.cache.field.type: soft 
index.cache.field.expire: 10m 
index.cache.query.enable: true 
indices.cache.query.size: 2% 
indices.fielddata.cache.size: 35% 
indices.fielddata.cache.expire: 10m 
index.search.slowlog.level: INFO 
#indices.recovery.max_size_per_sec: 1gb 
index.merge.scheduler.max_thread_count: 2    # Only for spinning media.  
    
# Refresh config 
index.refresh_interval: 300s 
    
# Translog config 
index.translog.flush_threshold_ops:  100000 
    
# Paths config 
path.data: /data/esData 
path.plugins: /usr/share/elasticsearch/plugins 
    
# Network And HTTP 
network.bind_host: 10.0.126.203 
network.publish_host: 10.0.126.203 
transport.tcp.port: 9300 
transport.tcp.compress: true 
http.port: 9200 
    
# Discovery 
discovery.zen.minimum_master_nodes: 1 
discovery.zen.ping.timeout: 10s 
discovery.zen.ping.multicast.enabled: false 
discovery.zen.ping.unicast.hosts: ["10.0.32.3:9300", "10.0.4.37:9300", "10.0.40.159:9300", "10.0.107.116:9300" , "10.0.126.203:9300"]
　　  配置檔案位於%ES_HOME%/config/elasticsearch.yml檔案中，用Editplus開啟它，你便可以進行配置。
        所有的配置都可以使用環境變數，例如：
　　　node.rack: ${RACK_ENV_VAR}   表示環境變數中有一個RACK_ENV_VAR變數。
        下面列舉一下elasticsearch的可配置項：
        1. 叢集名稱，預設為elasticsearch：
　　　　cluster.name: elasticsearch
        2. 節點名稱，es啟動時會自動建立節點名稱，但你也可進行配置：
　　　　node.name: "Franz Kafka"
        3. 是否作為主節點，每個節點都可以被配置成為主節點，預設值為true：
　　　　node.master: true
        4. 是否儲存資料，即儲存索引片段，預設值為true：
　　　　node.data: true
        　master和data同時配置會產生一些奇異的效果：
        1) 當master為false，而data為true時，會對該節點產生嚴重負荷；
        2) 當master為true，而data為false時，該節點作為一個協調者；
        3) 當master為false，data也為false時，該節點就變成了一個負載均衡器。
       　你可以通過連線http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes，或者使用外掛http://github.com/lukas-vlcek/bigdesk或http://mobz.github.com/elasticsearch-head來檢視叢集狀態。
        5. 每個節點都可以定義一些與之關聯的通用屬性，用於後期叢集進行碎片分配時的過濾：
　　　　node.rack: rack314
        6. 預設情況下，多個節點可以在同一個安裝路徑啟動，如果你想讓你的es只啟動一個節點，可以進行如下設定：
　　　　node.max_local_storage_nodes: 1
        7. 設定一個索引的碎片數量，預設值為5：
　　　　index.number_of_shards: 5
        8. 設定一個索引可被複制的數量，預設值為1：
　　　　index.number_of_replicas: 1
           當你想要禁用公佈式時，你可以進行如下設定：
　　　　index.number_of_shards: 1
　　　　index.number_of_replicas: 0
        　這兩個屬性的設定直接影響叢集中索引和搜尋操作的執行。假設你有足夠的機器來持有碎片和複製品，那麼可以按如下規則設定這兩個值：
           1) 擁有更多的碎片可以提升索引執行能力，並允許通過機器分發一個大型的索引；
           2) 擁有更多的複製器能夠提升搜尋執行能力以及叢集能力。
           對於一個索引來說，number_of_shards只能設定一次，而number_of_replicas可以使用索引更新設定API在任何時候被增加或者減少。
           ElasticSearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。
           可以連線http://localhost:9200/A/_status來檢測索引的狀態。
        9. 配置檔案所在的位置，即elasticsearch.yml和logging.yml所在的位置：
           path.conf: /path/to/conf
        10. 分配給當前節點的索引資料所在的位置：
　　　　path.data: /path/to/data
           可以可選擇的包含一個以上的位置，使得資料在檔案級別跨越位置，這樣在建立時就有更多的自由路徑，如：
　　　　path.data: /path/to/data1,/path/to/data2
        11. 臨時檔案位置：
           path.work: /path/to/work
        12. 日誌檔案所在位置：
　　　　path.logs: /path/to/logs
        13. 外掛安裝位置：
　　　　path.plugins: /path/to/plugins
        14. 外掛託管位置，若列表中的某一個外掛未安裝，則節點無法啟動：
　　　　plugin.mandatory: mapper-attachments,lang-groovy
        15. JVM開始交換時，ElasticSearch表現並不好：你需要保障JVM不進行交換，可以將bootstrap.mlockall設定為true禁止交換：
　　　　bootstrap.mlockall: true
           請確保ES_MIN_MEM和ES_MAX_MEM的值是一樣的，並且能夠為ElasticSearch分配足夠的內在，併為系統操作保留足夠的記憶體。
        16. 預設情況下，ElasticSearch使用0.0.0.0地址，併為http傳輸開啟9200-9300埠，為節點到節點的通訊開啟9300-9400埠，也可以自行設定IP地址：
            network.bind_host: 192.168.0.1
        17. publish_host設定其他節點連線此節點的地址，如果不設定的話，則自動獲取，publish_host的地址必須為真實地址：
            network.publish_host: 192.168.0.1
        18. bind_host和publish_host可以一起設定：
　　　　 network.host: 192.168.0.1
        19. 可以定製該節點與其他節點互動的埠：
　　　　transport.tcp.port: 9300
        20. 節點間互動時，可以設定是否壓縮，轉為為不壓縮：
　　　　transport.tcp.compress: true
        21. 可以為Http傳輸監聽定製埠：
　　　　http.port: 9200
        22. 設定內容的最大長度：
　　　　http.max_content_length: 100mb
        23. 禁止HTTP
　　　　http.enabled: false
        24. 閘道器允許在所有叢集重啟後持有叢集狀態，叢集狀態的變更都會被儲存下來，當第一次啟用叢集時，可以從閘道器中讀取到狀態，預設閘道器型別（也是推薦的）是local：
　　　　gateway.type: local
        25. 允許在N個節點啟動後恢復過程：
　　　　gateway.recover_after_nodes: 1
        26. 設定初始化恢復過程的超時時間：
　　　　gateway.recover_after_time: 5m
        27. 設定該叢集中可存在的節點上限：
　　　　gateway.expected_nodes: 2
        28. 設定一個節點的併發數量，有兩種情況，一種是在初始復甦過程中：
　　　　cluster.routing.allocation.node_initial_primaries_recoveries: 4
           另一種是在新增、刪除節點及調整時：
　　　　cluster.routing.allocation.node_concurrent_recoveries: 2
        29. 設定復甦時的吞吐量，預設情況下是無限的：
　　　　indices.recovery.max_size_per_sec: 0
        30. 設定從對等節點恢復片段時開啟的流的數量上限：
　　　　indices.recovery.concurrent_streams: 5
        31. 設定一個叢集中主節點的數量，當多於三個節點時，該值可在2-4之間：
　　　　discovery.zen.minimum_master_nodes: 1
        32. 設定ping其他節點時的超時時間，網路比較慢時可將該值設大：
　　　　discovery.zen.ping.timeout: 3s
　　　　http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設定。
        33. 禁止當前節點發現多個叢集節點，預設值為true：
　　　　discovery.zen.ping.multicast.enabled: false
        34. 設定新節點被啟動時能夠發現的主節點列表（主要用於不同網段機器連線）：

　　　　discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

       35.設定是否可以通過正則或者_all刪除或者關閉索引

3、Elasticsearch配置優化

1、skywalking的elasticsearch配置優化

#bulkActions預設1000次請求批量寫入一次改到4000次。
bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 1000 requests
   
#flushInterval每10秒重新整理一次堆改為每30秒重新整理。
flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:30} # flush the bulk every 10 seconds whatever the number of requests

#concurrentRequests併發請求的數量由2改為4。
concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:4} # the number of concurrent requests

#metadataQueryMaxSize查詢的最大數量由5000改為8000。
metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:8000}

2、elasticsearch內建引數優化

index.merge.scheduler.max_thread_count# 索引 merge 最大執行緒數
index.refresh_interval#index 重新整理間隔 
index.translog.durability# 這個可以非同步寫硬碟，增大寫的速度
index.translog.sync_interval #translog 間隔時間

curl -H "Content-Type: application/json" -u -key elastic:elastic -X PUT 'http://192.168.40.7:9200/_all/_settings?preserve_existing=true' -d '{
  "index.merge.scheduler.max_thread_count" : "1",
  "index.refresh_interval" : "30s",
  "index.translog.durability" : "async",
  "index.translog.sync_interval" : "120s"
}'

3、ES堆記憶體優化（根據伺服器的硬體資源配置合理修改引數，一般8C 64G 堆記憶體最好選用記憶體的二分之一，也就是32G）

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space

-Xms32g
-Xmx32g

################################################################
## Expert settings
################################################################

4、ES分片數優化（ES7.2之後，分片數預設為3000，可以對max_shards_per_node進行修改）

curl -k -u elastic:abc123!@# -H "Content-Type:application/json" -X PUT -d '{"transient": {"cluster": {"max_shards_per_node":12000}}}' http://ip地址:9200/_cluster/settings

5、驗證ES高可用配置

http://localhost:9200/_all/_settings

相關文章