Elastic開源協議改了，使用者怎麼辦？

1月15日，全球著名的大資料搜尋與實時處理公司Elastic公司CEO Shay Banon突然發文宣佈， Elasticsearch和Kibana的其中一項開源許可協議將發生 變更 。

據悉 ，此次許可協議變更對大部分免費使用預設發行版的社群使用者沒有影響，主要限制的是雲服務提供商。

當然這並不是Elastic第一次更改開源許可協議。專家介紹，Elastic曾在2018年就更改過一次開源許可協議。

同樣，在開源領域，資料庫軟體MongDB、Redis Lab、圖資料庫Neo4j等在2018年就修改過相關的開源許可協議，以改變其在資料庫商業化方面面臨的“吸血”困境。

此次Elastic修改開源軟體許可協議，必然會對使用Elasticsearch和Kibana的大量使用者生產重大影響，尤其會對公有云上的使用者造成衝擊。 如何規避影響，保證應用穩定持續運營是大量的中國使用者面臨的一個主要問題。

另外，在開源軟體得到大量應用的情況中，使用者不得不面對開源軟體協議修改帶來的巨大風險。

1.中國也有自己的大資料綜合搜尋引擎Transwarp New Search

作為目前世界上非常流行的資料搜尋與實時分析引擎，Elasticsearch大名鼎鼎，單單2018年其下載量就超過了2.25億人次，全球眾多公司以某一種形式使用它。

Elasticsearch首個版本釋出於2012年 。 經過7年多的更新迭代，Elastic Stack生態已經日漸成熟，在國內擁有越來越多的使用者，應用Elasticsearch的開發人群也不斷擴大。

開發者利用Elastic Stack開發出靈活的軟體，在搜尋、日誌記錄、安全防護、運維指標監控、資料庫加速等應用場景，以及在網際網路與軟體業、金融業等行業得到廣泛應用。

近些年來，雲服務提供商一直在使用開源產品 ， 修改 其 程式碼 ， 開發託管（收費）服務解決方案版本。 然而，修改後的程式碼將無法作為開原始碼加以訪問。

同時雲服務商的商業行為也妨礙了開源軟體公司商業化。 在開源許可下，如何實現盈利，實現更健康的發展，則成為開源軟體公司面臨的最大挑戰。

因此，Elasticsearch和Kibana在許可證方面進行了重大的更改，由開源Apache 2.0許可證，改為採用SSPL（伺服器端公共許可證）。

早在2018年，MongoDB就 改變了許可協議，採用 了SSPL（伺服器端公共許可證），以保護開原始碼，避免被雲服務提供商用來開發自己的SaaS/DBaaS產品。

毫無疑問，Elastic 更改 許可協議對使用者尤其是雲上託管的應用必然造成巨大的衝擊。不少國家都把開源軟體修改許可協議，列為軟體產業發展的一大風險，引發全球相關使用者的恐慌。

幸運的是，在國家政策的大力支援下， 我國 信創產業不斷髮展壯大。在 大資料綜合搜尋 的國產化自主可控方面，國內已經推出了自己的產品。

中國大資料與AI基礎軟體的領導企業星環科技已經推出了完全可以替換Elasticsearch的大資料綜合搜尋引擎—— Transwarp New Search這一國際領先的大規模統計和搜尋融合引擎 ， 不但可以完成使用者對全文搜尋、關係的精確查詢及分析需求，而且還在半結構化資料檢索、時空資料檢索、語義檢索、模糊檢索等方面更勝一籌。

受國家自主可控政策的支援，以及星環科技技術的不斷突破， 星環科技已經完成了大資料基礎軟體的完全自主研發 ， 未來將不會存在開源軟體Hadoop身影，其大資料基礎軟體產品在不同領域開始替換甲骨文、IBM等國外軟體。

超過2000多家不同行業的使用者，選擇使用星環科技自主研發的平臺構建大資料底層的基礎設施，為各個行業賦予相關的業務能力， 涉及 金融、政府、能源、製造、交通、教育等。

2.New Search青出於藍而勝於藍

星環科技自研的Transwarp New Search用於在企業內部構建大資料搜尋引擎。New Search支援Word/Excel/PDF/CSV/網際網路資料/圖片/音影等非結構化資料格式的儲存和檢索，在PB級資料量上進行檢索時，能夠秒級返回。

在開發介面方面，New Search提供了完整的SQL語法 ， 支援並提供搜尋語法SQL擴充套件，透過和星環科技的分析型資料庫Inceptor最佳化器有效結合，使開發者無需瞭解底層架構，就可以開發出高效的搜尋引擎。

與開源的大資料搜尋引擎Elasticsearch（ES）相比，星環科技自研New Search具有更多的優勢：

New Search提供分散式計算引擎，能滿足多表關聯和複雜聚合分析等場景需求，改變了開源的Elasticsearch聚合結果不準確的問題，提供精確聚合。

New Search支援標準SQL、SQL擴充套件搜尋語義，以及Oracle、DB2L方言，配套星環自己的安全管控平臺Guardian 和大資料管理平臺Manager，方便安全管理和運維管理。

在全文檢索方面，New Search支援pdf/word/excel等常用格式文件的儲存和搜尋，提供中、維、藏、英、法、日、韓、德、西、葡等多種語言分詞器，支援文章相似度匹配、關鍵字提取、摘要提取等自然語言處理功能。

New Search時空資料庫模組支援包括點、線、多邊形、集合型別在內的OGC定義的標準圖形型別，支援基於WMTS協議的瓦片服務，支援伴隨分析、軌跡相似度匹配等時空資料庫演算法。

另外， New Search在大資料量、大叢集環境下的效能表現優異，相對於開源的Elasticsearch（ES）有了明顯的改善：

在硬體投入成本有限時，使用者希望要儘可能提高資源利用率，因此叢集單節點支援例項量就顯得至關關重要。 New Search單節點支援單例項 50TB ， 遠超過開源ES單節點單例項10TB。

當使用者的資料總量達到百TB-PB量級時，採用開源ES軟體當例項超過100個節點時，會出現連環失聯等穩定性問題。而星環科技的New Search產品為大叢集專門調優引數，能大幅緩解節點失聯等問題，而 採用最新一代的New Search，支援節點或例項達到200個以上節點時，依然能有更好的穩定性。

大資料搜尋對高可用要求高,應能保證99%以上的SLA服務水平協議,在有節點異常情況下可自動快速恢復,當需要人工運維介入時能提供工具快速診斷和修復叢集。開源ES軟體TB數量級節點重啟一般需要數小時，而 星環科技的New Search，TB數量級節點重啟只需幾分鐘。 下圖所示為NS在不同存量資料規模情況下的重啟耗時，其中cold和hot的區別在於是否排除作業系統pageCache影響。

對於資料維度高,需要做多表關聯分的業務，星環科技的New Search一改開源ES不直接支援多表關聯操作的做法， 滿足一個查詢結果需要從兩個或兩個以上表中提取欄位資料的多表關聯查詢的需求。

對於短平快查詢，開源ES支援最大併發量一般在700-800，且受GC影響，查詢效能有毛刺。而星環科技的New Search一代產品查詢流程最佳化，減少一次rpc，響應時間減少30%，而且透過offheap、automerge、cooling等技術減少heap佔用，受GC影響變小。

最新一代New Search，進行了執行緒池最佳化和lucene最佳化，記憶體佔用繼續減小1/3，受GC波動更小， 既滿足短平快查詢秒級需求，又能滿足查詢高峰期高併發量。 如下圖所示，單機存量資料為4.5T的情況下，New Search透過對堆外記憶體的高效使用，大幅度減少了堆記憶體的佔用，明顯降低了GC壓力。

使用者的查詢主要針對最近N天內的資料,對再老的資料查詢頻度相對不高。 面對這一需求，開源ES沒有對冷熱資料做特別處理，而 星 環科技的New Search對冷熱資料做了最佳化，提升了查詢效能。

當叢集規模很大，表格分片較多的情況下，開源ES由於其自身PP架構和平衡策略的侷限，會造成DDL操作延遲非常高 ， 造成明顯的使用卡頓和叢集高負載。而 N ew S earch的中心式架構能夠明顯最佳化這方面的效能， 測試對比如下 圖 。

當每天的增量資料增加時, 使用者對入庫效能就會提出特別的要求。如何保證入庫資料的效能呢？開源ES的資料入庫效能隨著資料量增大會逐漸變小。星環科技的New Search一代產品最佳化儲存格式，效能提升10%-20%；而二代產品加入bloomfilter索引，將入庫效能隨著資料量增大的影響儘可能減小，入庫效能繼續提高30%-70%。另外，支援bulkload功能， 透過BulkLoad的方式快速匯入海量資料 。

如下圖所示，是 N ew S earch在使用  TPC-DS 標準資料進行批次寫入測試中的效能表現和 ES 的對比，單位為單節點/MB/秒。

 

    除了綜合搜尋產品的技術、效能之外，星環科技在大資料基礎軟體方面，可圈可點的地方還可多，如星環科技被認為是大資料領域產品線最豐富的企業，產品涉及大資料領域眾多應用需求和場景，在國內有更多成功的案例，也能為中國使用者提供更好的本地化服務與支援等。

  隨著開源軟體在全球範圍內不斷髮展壯大，開源軟體的影響日益擴大，併成為軟體產業發展不可忽視的重要力量。開源軟體在全球的發展證明了這種模式不僅是商業模式， 而且也 是研發模式、推廣模式、產業化的模式。

伴 隨著眾多開源軟體的商業化，以及眾多開源軟體成功IPO，在巨大的利益誘惑下，開源軟體企業頻頻修改開源協議，造成的風險不但不 防 。同樣開源軟體也可能受到貿易摩擦、貿易制裁的影響。因此，在國家自主可控政策的支援下，發展自主研發、自主可控的大資料基礎軟體大勢所趨， 以 滿足中國企業大資料應用 的 需求。