ElasticSearch 叢集安全

碼農充電站發表於2021-03-02

公號:碼農充電站pro
主頁:https://codeshellme.github.io

在安裝完 ES 後,ES 預設是沒有任何安全防護的。

ES 的安全管理主要包括以下內容:

這裡有一些免費的安全方案:

  • 設定 Nginx 方向代理。
  • 安裝免費的安全外掛,比如:
  • X-Pack 的 Basic 版:可參考這裡

1,身份認證

ES 中提供的認證叫做 Realms,有以下幾種方式,可分為兩類:

  • 內部的:不需要與 ES 外部方通訊。
    • file(免費):使用者名稱和密碼儲存在 ES 索引中。
    • native(免費):使用者名稱和密碼儲存在 ES 索引中。
  • 外部的:需要與 ES 外部元件通訊。

2,使用者鑑權

使用者鑑權通過定義一個角色,並分配一組許可權;然後將角色分配給使用者,使得使用者擁有這些許可權。

ES 中的許可權有不同的級別,包括叢集級別(30 多種)和索引級別(不到 20 種)。

ES 中提供了很多內建角色(不到 30 種)可供使用。

ES 中提供了很多關於使用者與角色的 API:

3,啟動 ES 安全功能

下面演示如何使用 ES 的安全功能。

啟動 ES 並通過 xpack.security.enabled 引數開啟安全功能:

bin\elasticsearch -E node.name=node0 -E cluster.name=mycluster -E path.data=node0_data -E http.port=9200 -E xpack.security.enabled=true

使用 elasticsearch-setup-passwords 命令啟用 ES內建使用者及初始 6 位密碼(需要手動輸入,比如是 111111):

bin\elasticsearch-setup-passwords interactive

該命令會啟用下面這些使用者:

  • elastic:超級使用者。
  • kibana:用於 ES 與 Kibana 之間的通訊。
  • kibana_system:用於 ES 與 Kibana 之間的通訊。
  • apm_system
  • logstash_system
  • beats_system
  • remote_monitoring_user

啟用 ES 的安全功能後,訪問 ES 就需要輸入使用者名稱和密碼:

在這裡插入圖片描述

也可以通過 curl 命令(並指定使用者)來訪問 ES:

curl -u elastic 'localhost:9200'

更多內容可參考這裡

4,啟動 Kibana 安全功能

開啟 Kibana 的配置檔案 kibana.yml,寫入下面內容:

elasticsearch.username: "kibana_system"  # 使用者名稱
elasticsearch.password: "111111"         # 密碼

然後使用 bin\kibana 命令啟動 Kibana。

訪問 Kibana 也需要使用者和密碼(這裡使用的是超級使用者):

在這裡插入圖片描述

5,使用 Kibana 建立角色和使用者

下面演示如何使用 Kibana 建立角色和使用者。登入 Kibana 之後進行如下操作:

在這裡插入圖片描述

點選 Stack Management 後進入下面頁面:

在這裡插入圖片描述

5.1,建立角色

點選 Create role 建立角色:

在這裡插入圖片描述

建立角色需要填寫如下內容:

  • 角色名稱
  • 角色對哪些索引有許可權及索引的許可權級別
  • 新增一個 Kibana 許可權
  • 最後建立角色

在這裡插入圖片描述

經過上面的操作,建立的角色名為 test_role,該角色對 test_index 索引有只讀許可權;如果進行超越範圍的操作,將發生錯誤。

5.2,建立使用者

進入到建立使用者的介面,點選 Create user 建立使用者:

在這裡插入圖片描述

填寫使用者名稱和密碼,並將角色 test_role 賦予該使用者。

在這裡插入圖片描述

5.3,使用使用者

使用新建立的使用者登入 Kibana:

在這裡插入圖片描述

該使用者只對 test_index 索引有只讀許可權;如果進行超越範圍的操作,將發生錯誤。

6,傳輸加密

傳輸加密指的是在資料的傳輸過程中,對資料進行加密(可防止資料被抓包)。

傳輸加密分為叢集內加密和叢集間加密:

  • 叢集內加密指的是 ES 叢集內部各節點之間的資料傳輸時的加密。
    • 通過 TLS 協議完成。
  • 叢集間加密指的是外部客戶訪問 ES 時,資料傳輸的加密。
    • 通過 HTTPS 協議完成。

更多的內容可參考這裡

6.1,叢集內部傳輸加密

在 ES 中可以使用 TLS 協議對資料進行加密,需要進行以下步驟:

  • 建立 CA
  • 為 ES 節點建立證書和私鑰
  • 配置證書
1,建立 CA 證書

使用如下命令建立 CA:

bin\elasticsearch-certutil ca

成功後,可以看到當前資料夾下多了一個檔案:

elastic-stack-ca.p12
2,生成證書和私鑰

使用如下命令為 ES 中的節點生成證書和私鑰

bin\elasticsearch-certutil cert --ca elastic-stack-ca.p12

成功後,可以看到當前資料夾下多了一個檔案:

elastic-certificates.p12
3,配置證書

將建立好的證書 elastic-certificates.p12 放在 config/certs 目錄下。

4,啟動叢集
# 啟動第一個節點
bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

# 啟動第二個節點
bin\elasticsearch 
-E node.name=node1 
-E cluster.name=mycluster 
-E path.data=node1_data 
-E http.port=9201 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12

不提供證書的節點將無法加入叢集:

bin\elasticsearch 
-E node.name=node2 
-E cluster.name=mycluster 
-E path.data=node2_data 
-E http.port=9202 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate
# 加入失敗

也可以將配置寫在配置檔案 elasticsearch.yml 中,如下:

xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-certificates.p12

6.2,叢集外部傳輸加密

通過配置如下三個引數,使得 ES 支援 HTTPS:

xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: certs/elastic-certificates.p12
xpack.security.http.ssl.truststore.path: certs/elastic-certificates.p12

在命令列啟動:

bin\elasticsearch 
-E node.name=node0 
-E cluster.name=mycluster
-E path.data=node0_data 
-E http.port=9200 
-E xpack.security.enabled=true 
-E xpack.security.transport.ssl.enabled=true 
-E xpack.security.transport.ssl.verification_mode=certificate 
-E xpack.security.transport.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.transport.ssl.truststore.path=certs\elastic-certificates.p12
-E xpack.security.http.ssl.enabled=true 
-E xpack.security.http.ssl.keystore.path=certs\elastic-certificates.p12 
-E xpack.security.http.ssl.truststore.path=certs\elastic-certificates.p12

啟動成功後,可以通過 HTTPS 協議訪問 ES:

https://localhost:5601/

6.3,配置 Kibana 連結 ES HTTPS

1,為 Kibana 生成 pem 檔案

首先用 openssl 為 kibana 生成 pem:

openssl pkcs12 -in elastic-certificates.p12 -cacerts -nokeys -out elastic-ca.pem

成功後會生成如下檔案:

elastic-ca.pem

將該檔案放在 config\certs 目錄下。

2,配置 kibana.yml

在 Kibana 的配置檔案 kibana.yml 中配置如下引數:

elasticsearch.hosts: ["https://localhost:9200"]
elasticsearch.ssl.certificateAuthorities: ["C:\\elasticsearch-7.10.1\\config\\certs\\elastic-ca.pem"]
elasticsearch.ssl.verificationMode: certificate
3,執行 Kibana
bin\kibana

6.4,配置 Kibana 支援 HTTPS

1,為 Kibana 生成 pem
bin/elasticsearch-certutil ca --pem

上面命令執行成功後會生成如下 zip 檔案:

elastic-stack-ca.zip

將該檔案解壓,會有兩個檔案:

ca.crt
ca.key

將這兩個檔案放到 Kibana 的配置檔案目錄 config\certs

2,配置 kibana.yml

在 Kibana 的配置檔案 kibana.yml 中配置如下引數:

server.ssl.enabled: true
server.ssl.certificate: config\\certs\\ca.crt
server.ssl.key: config\\certs\\ca.key
3,執行 Kibana
bin\kibana

啟動成功後,可以通過 HTTPS 協議訪問 Kibana:

https://localhost:5601/

(本節完。)


推薦閱讀:

ElasticSearch 搜尋模板與建議

ElasticSearch 聚合分析

ElasticSearch 中的 Mapping

ElasticSearch 資料建模

ElasticSearch 分散式叢集


歡迎關注作者公眾號,獲取更多技術乾貨。

碼農充電站pro

相關文章