Tantivy与Quickwit:类似Lucene的Rust全文搜索引擎库

22-03-11 banq

Tantivy 是一个受 Apache Lucene 启发并用 Rust 编写的全文搜索引擎库。
Tantivy是一个用 Rust 编写的全文搜索引擎库。
它更接近Apache Lucene,而不是ElasticsearchApache Solr,因为它不是现成的搜索引擎服务器,而是可用于构建此类搜索引擎的 crate。

搜索是任何技术堆栈的关键任务构建块。Elasticsearch 或 Solr 等流行的开源搜索引擎广泛部署在世界各地的组织中。然而,这些引擎是十多年前开发的,在过去十年中,两个基本趋势加速了。首先,存储在企业应用程序中的数据量急剧增加。其次,云计算的兴起导致计算、存储和网络技术的巨大改进。
因此,公司难以大规模运行现有的搜索系统,并且必须调动大量资源和资金来做到这一点。
 

Quickwit获得260 万美元的种子轮融资
是时候从头开始进行彻底的重新设计了。作为领先和最快的 Rust 搜索引擎库tantivy的作者,我们最有能力设计明天的搜索和分析引擎——解决其前辈的缺点并充分利用云的全部功能和承诺的引擎。这就是我们创立 Quickwit 的原因。

Quickwit 是一个分布式搜索引擎,旨在取代部署在日志管理平台、数据分析解决方案和数据湖中的传统搜索技术。它由 Rust 和 tantivy 提供支持,在大型数据集上提供无与伦比的成本效益和高可靠性。
Quickwit 的常见用例包括:

  • 搜索日志,从少量数据到 TB。
  • 为ClickHouse等 OLAP 数据库添加全文搜索功能。
  • 通过在同一存储上添加 Quickwit 索引文件来搜索位于云存储上的备份。

自 2021 年成立以来,经过一年的发展,Quickwit 已经能够对存储在 Amazon S3 上的数 TB 数据运行亚秒级查询,这是第一个这样做的开源搜索和分析引擎。