Tantivy與Quickwit:類似Lucene的Rust全文搜尋引擎庫

banq發表於2022-03-11

Tantivy 是一個受 Apache Lucene 啟發並用 Rust 編寫的全文搜尋引擎庫。

Tantivy是一個用 Rust 編寫的全文搜尋引擎庫。

它更接近Apache Lucene,而不是ElasticsearchApache Solr,因為它不是現成的搜尋引擎伺服器,而是可用於構建此類搜尋引擎的 crate。

搜尋是任何技術堆疊的關鍵任務構建塊。Elasticsearch 或 Solr 等流行的開源搜尋引擎廣泛部署在世界各地的組織中。然而,這些引擎是十多年前開發的,在過去十年中,兩個基本趨勢加速了。首先,儲存在企業應用程式中的資料量急劇增加。其次,雲端計算的興起導致計算、儲存和網路技術的巨大改進。

因此,公司難以大規模執行現有的搜尋系統,並且必須調動大量資源和資金來做到這一點。

 

Quickwit獲得260 萬美元的種子輪融資

是時候從頭開始進行徹底的重新設計了。作為領先和最快的 Rust 搜尋引擎庫tantivy的作者,我們最有能力設計明天的搜尋和分析引擎——解決其前輩的缺點並充分利用雲的全部功能和承諾的引擎。這就是我們創立 Quickwit 的原因。

Quickwit 是一個分散式搜尋引擎,旨在取代部署在日誌管理平臺、資料分析解決方案和資料湖中的傳統搜尋技術。它由 Rust 和 tantivy 提供支援,在大型資料集上提供無與倫比的成本效益和高可靠性。

Quickwit 的常見用例包括:

  • 搜尋日誌,從少量資料到 TB。
  • 為ClickHouse等 OLAP 資料庫新增全文搜尋功能。
  • 通過在同一儲存上新增 Quickwit 索引檔案來搜尋位於雲端儲存上的備份。

自 2021 年成立以來,經過一年的發展,Quickwit 已經能夠對儲存在 Amazon S3 上的數 TB 資料執行亞秒級查詢,這是第一個這樣做的開源搜尋和分析引擎。

相關文章