Elasticsearch分散式搜尋叢集配置

獵手家園發表於2016-05-01

    配置檔案位於%ES_HOME%/config/elasticsearch.yml檔案中,用Editplus開啟它,你便可以進行配置。

    所有的配置都可以使用環境變數,例如:node.rack: ${RACK_ENV_VAR}  表示環境變數中有一個RACK_ENV_VAR變數。

        下面列舉一下elasticsearch的可配置項:

        1. 叢集名稱,預設為elasticsearch:cluster.name: elasticsearch

        2. 節點名稱,es啟動時會自動建立節點名稱,但你也可進行配置:node.name: "Franz Kafka"

        3. 是否作為主節點,每個節點都可以被配置成為主節點,預設值為true:node.master: true

        4. 是否儲存資料,即儲存索引片段,預設值為true:node.data: true

        master和data同時配置會產生一些奇異的效果:

        1) 當master為false,而data為true時,會對該節點產生嚴重負荷;

        2) 當master為true,而data為false時,該節點作為一個協調者;

        3) 當master為false,data也為false時,該節點就變成了一個負載均衡器。

        你可以透過連線http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes

        或者使用外掛http://github.com/lukas-vlcek/bigdesk或http://mobz.github.com/elasticsearch-head來檢視叢集狀態。

        5. 每個節點都可以定義一些與之關聯的通用屬性,用於後期叢集進行碎片分配時的過濾:node.rack: rack314

        6. 預設情況下,多個節點可以在同一個安裝路徑啟動,如果你想讓你的es只啟動一個節點,可以進行如下設定:node.max_local_storage_nodes: 1

        7. 設定一個索引的碎片數量,預設值為5:index.number_of_shards: 5

        8. 設定一個索引可被複制的數量,預設值為1:index.number_of_replicas: 1

        當你想要禁用公佈式時,你可以進行如下設定:

        index.number_of_shards: 1

        index.number_of_replicas: 0

        這兩個屬性的設定直接影響叢集中索引和搜尋操作的執行。假設你有足夠的機器來持有碎片和複製品,那麼可以按如下規則設定這兩個值:

        1) 擁有更多的碎片可以提升索引執行能力,並允許透過機器分發一個大型的索引;

        2) 擁有更多的複製器能夠提升搜尋執行能力以及叢集能力。

        對於一個索引來說,number_of_shards只能設定一次,而number_of_replicas可以使用索引更新設定API在任何時候被增加或者減少。

        ElasticSearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。

        可以連線http://localhost:9200/A/_status來檢測索引的狀態。

        9. 配置檔案所在的位置,即elasticsearch.yml和logging.yml所在的位置:path.conf: /path/to/conf

        10. 分配給當前節點的索引資料所在的位置:path.data: /path/to/data

        可以可選擇的包含一個以上的位置,使得資料在檔案級別跨越位置,這樣在建立時就有更多的自由路徑,如:path.data: /path/to/data1,/path/to/data2

        11. 臨時檔案位置:path.work: /path/to/work

        12. 日誌檔案所在位置:path.logs: /path/to/logs

        13. 外掛安裝位置:path.plugins: /path/to/plugins

        14. 外掛託管位置,若列表中的某一個外掛未安裝,則節點無法啟動:plugin.mandatory: mapper-attachments,lang-groovy

        15. JVM開始交換時,ElasticSearch表現並不好:你需要保障JVM不進行交換,可以將bootstrap.mlockall設定為true禁止交換:bootstrap.mlockall: true

        請確保ES_MIN_MEM和ES_MAX_MEM的值是一樣的,並且能夠為ElasticSearch分配足夠的內在,併為系統操作保留足夠的記憶體。

        16. 預設情況下,ElasticSearch使用0.0.0.0地址,併為http傳輸開啟9200-9300埠,為節點到節點的通訊開啟9300-9400埠,也可以自行設定IP地址:network.bind_host: 192.168.0.1

        17. publish_host設定其他節點連線此節點的地址,如果不設定的話,則自動獲取,publish_host的地址必須為真實地址:network.publish_host: 192.168.0.1

        18. bind_host和publish_host可以一起設定:network.host: 192.168.0.1

        19. 可以定製該節點與其他節點互動的埠:transport.tcp.port: 9300

        20. 節點間互動時,可以設定是否壓縮,轉為為不壓縮:transport.tcp.compress: true

        21. 可以為Http傳輸監聽定製埠:http.port: 9200

        22. 設定內容的最大長度:http.max_content_length: 100mb

        23. 禁止HTTP:http.enabled: false

        24. 閘道器允許在所有叢集重啟後持有叢集狀態,叢集狀態的變更都會被儲存下來,當第一次啟用叢集時,可以從閘道器中讀取到狀態,預設閘道器型別(也是推薦的)是local:gateway.type: local

        25. 允許在N個節點啟動後恢復過程:gateway.recover_after_nodes: 1

        26. 設定初始化恢復過程的超時時間:gateway.recover_after_time: 5m

        27. 設定該叢集中可存在的節點上限:gateway.expected_nodes: 2

        28. 設定一個節點的併發數量,有兩種情況,一種是在初始復甦過程中:cluster.routing.allocation.node_initial_primaries_recoveries: 4

        另一種是在新增、刪除節點及調整時:cluster.routing.allocation.node_concurrent_recoveries: 2

        29. 設定復甦時的吞吐量,預設情況下是無限的:indices.recovery.max_size_per_sec: 0

        30. 設定從對等節點恢復片段時開啟的流的數量上限:indices.recovery.concurrent_streams: 5

        31. 設定一個叢集中主節點的數量,當多於三個節點時,該值可在2-4之間:discovery.zen.minimum_master_nodes: 1

        32. 設定ping其他節點時的超時時間,網路比較慢時可將該值設大:discovery.zen.ping.timeout: 3s

        http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設定。

        33. 禁止當前節點發現多個叢集節點,預設值為true:discovery.zen.ping.multicast.enabled: false

        34. 設定新節點被啟動時能夠發現的主節點列表:discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

相關文章