Elasticsearch安全又雙叒叕出問題? 搜尋引擎該怎麼選

Elasticsearch資料洩露事件頻發 開源軟體和安全工具受國外出口法律限制

Elasticsearch資料洩露事件頻發

近日，開源軟體Elasticsearch被曝洩露了上億條資料。而這不是Elasticsearch被曝安全問題的個例了，在過去幾年內，Elasticsearch 資料洩露事件頻發，甚至一個月被曝6次資料洩露。

去年，受美國出口管制的巴林，暴露的Elasticsearch叢集中近200萬條資訊被洩露，包含有關人員的敏感資訊。

而作為美國出口管制重點物件的俄羅斯，近幾年發生多起Elasticsearch資料洩露事件。2019年，2000萬條個人資訊和稅務記錄在網上曝光，任何擁有網路瀏覽器的人都可以訪問。去年底，Elasticsearch伺服器再次發生資料洩露，超過8.7億條記錄或147GB個人資訊資料在網上曝光。而就在剛剛過去的6月份，俄羅斯金融領域也發生了一起駭人的資料洩露事件，130GB的資料集包含俄羅斯人的付款，發票和其他財務敏感資訊，甚至包括政府方面的日誌資料。

在國內，今年某漫畫閱讀平臺也遭遇資料洩露，駭客從不安全的Elasticsearch資料庫中竊取了2300萬使用者帳戶敏感資訊。

此外，根據Group-IB報告顯示，2021年網路上暴露的 Elasticsearch 例項超過10萬個，約佔2021年暴露資料庫總數的30%。

Elasticsearch資料洩露事件頻發給國內各行業使用者敲響了資料安全的警鐘。

安全工具出口和漏洞分享禁令

2021年美國商務部和安全域性釋出最新控制措施，禁止美國公司向中國和俄羅斯等“有問題”的國家出口和轉售網路安全產品。

而就在近日，美國商務部和安全域性又釋出了一項針對網路安全領域的出口管制規定，未經審批禁止向中國分享安全漏洞。簡單的說，就是美國實體與中國政府相關的組織和個人合作時，如果發現潛在安全漏洞和資訊，不能直接公佈，要先經過美國商務部稽核。這意味著如果繼續使用國外軟體，那安全問題將掌握在別人手裡。

開源軟體存在“被制裁”風險

Apache 軟體基金會和GitHub官網都有公開說明，產品和技術受到美國的出口法律和法規限制，因此使用國外開源軟體不能規避“被制裁”風險。

受美國出口管制的俄羅斯在近期俄烏事件中將這方面風險徹底暴露。有外媒訊息稱，全球第一代程式碼託管平臺GitHub 正在考慮限制俄羅斯開發人員使用開源軟體。儘管此類軟體的使用是免費的，但它的許可協議仍然存在諸多限制，包括禁止受制裁的國家使用原本對公眾免費開放的程式碼。

從以上可以看出，開源軟體可能存在一定的安全風險，而安全軟體、安全漏洞分享策略等又受到國外出口管制法律的限制，且開源軟體本身也同樣受出口管制法律限制，這些無疑給國內使用者帶來了巨大的商業和安全風險。

Elasticsearch安全能力不足 開源協議變更加劇安全風險

資料保護能力不足

Elasticsearch 開源版本是不具備資料保護功能的，看似免費，但不安全。使用者必須付費獲得Gold+許可才能獲得相關的安全保護功能，且不同的安全功能對應不同的收費標準。

資料有丟失風險

為了滿足資料入庫效能要求，Elasticsearch在資料層採用了簡單的主從最終一致性模型。當主副本出現故障時，從副本和主副本不能保證資料的強一致性，從副本的資料有可能不是最新的。以此為基礎恢復資料，很有可能導致部分資料丟失。

開源協議變更帶來商業風險

2021年初， Elastic 公司決定將這兩款開源軟體的 Apache License 2.0 變更為雙授權許可，即Server Side Public License (SSPL) 和 Elastic License。其核心條款是“如果將程式的功能或修改後的版本作為服務提供給第三方，那麼必須免費公開提供服務原始碼”。這意味著不法分子可以獲得其原始碼並研究其漏洞，給企業使用者帶來巨大的安全風險。

星環科技自主研發的國產搜尋引擎Transwarp Scope

國產自研搜尋引擎，自主可控

Transwarp Scope是星環科技自主研發的企業級分散式搜尋引擎，提供PB級海量資料的互動式多維檢索分析服務，支援百萬級高併發和毫秒級低延時檢索業務，覆蓋模糊匹配，精確查詢，多維檢索等各類檢索類場景，滿足資料檢索多樣化需求。

內建配套的安全授權、訪問控制機制等，不收取額外的安全功能費用，在降低使用者總擁有成本的同時，充分保證系統資料安全。

Scope相容常用的Elasticsearch讀寫介面，可實現Elasticsearch的平滑遷移。並且比Elasticsearch具有更強的查詢效能、擴充套件性、資料一致性和可靠性，以及更低的硬體和運維成本等優勢。

此外，Scope已完成與主流信創生態廠商的適配互認工作，支援適配長城飛騰、華為泰山、龍芯等伺服器架構，同時滿足麒麟，UOS等作業系統，入選國家軟硬體技術圖譜，滿足信創要求和國產化替換需求。

全方位資料安全保障

Transwarp Scope內建配套的安全授權、使用者許可權控制等相關安全功能，可以有效保障系統資料和訪問上的安全。

在使用者許可權認證上，基於SASL提供plain與gssapi兩種認證方式，對應傳統的使用者名稱密碼認證方式和基於Kerberos的登入驗證方式。其中kerberos可依賴於TDH平臺的安全服務Guardian，同時提供使用者組概念，便於透過平臺實現統一管理與操作。

在資料許可權上，基於角色的訪問控制(RBAC) 機制，使使用者能夠透過將許可權分配給角色並將角色分配給使用者或組來授權使用者，支援Index level Security &Database level Security。

在資料加密上，Scope支援基於SSL/TLS兩類協議進行資料加密，確保資料傳輸過程的安全。

ROI、擴充套件性、穩定性、資料讀寫/恢復/一致性等全面超越

• 硬體和運維成本

Elasticsearch單節點支援的資料量最多到20TB左右，在專案實踐中客戶通常在每臺伺服器上部署多個Elasticsearch例項，而如此多的例項將會帶來不穩定問題，觸發節點失聯，運維成本高。反之，如果每臺伺服器配置較少容量的磁碟，那麼使用者將付出非常高的硬體成本。而當節點數超過100時，同樣會有穩定性問題。

這兩類方案，運維成本和硬體成本變成了魚和熊掌不可兼得，讓使用者陷入兩難的境地。

星環科技Transwarp Scope對記憶體進行創新最佳化，提高單叢集單節點容量上限，單例項可突破至百TB的資料儲存，是Elasticsearch的5倍以上，大大降低使用者硬體成本。

在提高單例項儲存容量，降低叢集規模的同時，Scope透過多程式架構，充分利用叢集cpu/記憶體資源，讀寫壓力分流，滿足更高的併發需求，提高叢集穩定性的同時降低運維成本。

• 叢集擴充套件性

Elasticsearch在叢集擴充套件上存在瓶頸，其採用的P2P架構和排隊模型處理一些狀態同步和後設資料改變等操作時，效率比較低。在專案實踐中，當節點（或例項）規模超過100個時，會遇到穩定性問題，特別是多種任務併發的情景下，叢集壓力大，容易觸發節點接連失聯的問題。

星環科技Transwarp Scope採用多程式架構，充分利用叢集cpu/記憶體資源，讀寫壓力分流，滿足更高的併發需求以及提升穩定性，單叢集在200以上節點規模下穩定執行，同時保障效能無衰減。

• 資料讀寫效能

Elasticsearch在資料讀寫效能方面存在不足，如壓縮率不足，資料膨脹率高，讀寫策略最佳化不足等都大大降低了資料讀寫的效率。資料讀寫效能受限，直接影響查詢操作的併發度和資料入倉的效率。

星環科技Transwarp Scope對讀寫執行緒資源的管理更嚴格、更精細，使讀寫效能更優，資料批次寫入速度相對Elasticsearch提升40%，讀寫分離的特性大幅提升查詢的穩定性。

• 資料恢復效能

Elasticsearch缺乏“增量資料”的概念，當單點發生故障進行資料恢復時，採用全量資料複製方式恢復資料，工作量大，往往需要小時級的時間才能恢復服務，嚴重影響服務的正常進行。

星環科技Transwarp Scope具有很強的容災和資料恢復能力。Scope基於Raft協議保證資料的一致性，同時提供多副本支援，重啟恢復時間在TB級資料量下控制在分鐘級，不到Elasticsearch的1/10，大幅降低了服務不可用時間。

此外，Scope支援跨資料中心的多活部署，使得重要業務在多資料中心互動和流轉，還支援主備叢集的實時資料同步，滿足主備叢集的failover和switchover。

• 資料一致性

Elasticsearch主本和副本之間同步採用P2P架構和排隊模型實現主從最終一致性。當主副本出現故障時，從副本和主副本不能保證資料的強一致性，很有可能導致部分資料丟失。

Transwarp Scope基於自主研發的分散式資料庫管理系統TDDMS，採用shared-nothing架構，透過多副本機制實現資料服務高可用，使用raft協議保證副本之間的資料一致性，保障資料不丟失。此外，TDDMS支援彈性擴縮容、自動故障恢復、許可權控制、多租戶與冷熱資料分層儲存等功能。

• 售後服務

Elasticsearch是開源產品，使用者需自己探索和解決問題，無法獲取有效的服務保障。使用者需要購買企業版才能獲得相應的服務，且在國內沒有原廠技術研發人員，很難保障SLA。

Transwarp Scope的產品提供方星環科技是國內廠商，具有非常強大的研發、技術支援與服務能力，提供強大的原廠服務保障能力，保障使用者售後無憂。

星環科技Transwarp Scope可平滑替代Elasticsearch

平滑替代Elasticsearch

Transwarp Scope相容常用Elasticsearch的介面，可實現Elasticsearch業務的平滑遷移。星環科技提供多種資料遷移方案，使用者可根據實際情況靈活選擇。

經過大量專案的實踐和經驗，星環科技建立了成熟標準的Elasticsearch平滑遷移方法論，透過調研評估、方案測試和上線保障“三步”策略，全程保障資料與業務的平滑遷移。

多生態相容

除了相容以上Elasticsearch介面，Scope還相容PostgreSQL協議以及Spark等大資料產品的接入。同時，Scope還提供完備的SQL語法支援，滿足傳統資料庫遷移到Scope的需求，透過星環科技SQL編譯器QUARK實現大資料基礎平臺TDH內部的完整資料流轉方案。

遷移後的效果

• 效能全面提升

相較於Elasticsearch，使用者遷移到星環科技Transwarp Scope之後，可以實現海量儲存能力，極大降低使用者硬體和運維成本，資料讀寫效能、日誌分析效能和資料檢索效能大幅提升，可確保百節點以上規模叢集穩定執行，強一致性寫入能力確保讀寫資料不丟。高可用性可以確保故障分鐘級重啟恢復。而在安全方面，內建的安全授權、訪問控制機制充分保證系統資料安全。

• 自主可控

Transwarp Scope星環科技自主研發，國產軟硬體相容，充分滿足企業使用者國產化系統建設需求。

• 一站式平臺建設

基於星環科技大資料基於平臺TDH，透過多模型統一架構支援關係型、文字、時空地理、圖資料、文件、時序等在內的10種資料模型，為使用者提供一站式的大資料平臺服務方案。使用者也可以根據需要靈活接入其他儲存引擎，方便後續業務的靈活擴充套件。

同時，多模型統一架構提供統一的資料操作/查詢語言、統一的分散式計算引擎、統一的分散式資料管理系統和統一的資源管理框架，使用者可輕鬆實現跨模型資料分析。

Transwarp Scope可滿足多種應用場景

海量日誌儲存與檢索

Scope在資料儲存做了多層最佳化，輕鬆滿足海量檢索資料的儲存，支援大規模資料的入庫，而且架構穩定，資料提供一致性和多副本容災。此外，底層的搜尋模組透過分割槽，索引排序等各類最佳化手段，滿足大體量資料的快速精確檢索，實現毫秒級檢索和讀寫互不影響，非常適合電信、安全、能源等領域的檢索需求。

一站式檢索平臺

Scope支援結構化/半結構化/非結構化小物件資料的分級儲存與毫秒級檢索響應，提供完備的分割槽最佳化機制和高併發檢索能力。一站化服務使得業務無需透過不同資料庫產品的組合來實現複雜檢索場景，一套產品滿足多類需求。高併發非結構化資料靈活檢索等業務均可透過Scope滿足。

星環科技Transwarp Scope助力某政府單位平滑替換Elasticsearch

客戶挑戰

某政府單位原先使用開源Elasticsearch，隨著內部系統資料量的高速增長，總資料量超幾十PB，單張表達百億條級別，在不斷擴容下節點數達Elasticsearch上限，穩定性經常出現問題，同時當叢集出現問題時，Elasticsearch重啟需要小時級別，叢集恢復速度慢。在效能問題方面，讀寫資源無法隔離，拖累查詢效能，系統設計為讀寫兩套叢集。

解決方案

基於星環科技大資料基礎平臺TDH構建大規模資料綜合搜尋平臺，Slipstream做實時資料引擎，清洗分析併入庫到Hyperbase與Scope的綜合搜尋庫中，提供基於幾十PB資料量的快速查詢和搜尋能力，叢集規模達200個節點。

專案成果

融合人、地、物、事、組織與影片/圖片等因素，透過星環TDH構建一站式搜尋平臺，實現了PB級資料統一儲存、檢索滿足海量資料毫秒級響應，高併發、快速統計、欄位精確與模糊查詢等複雜組合場景，指定條件查詢1s內返回並支援上千併發，並透過單節點儲存容量比開源高5倍的優勢，降低了客戶硬體投資成本。