RediSearch是一个分布式全文搜索和聚合引擎,作为Redis之上的一个模块构建。它使用户能够以极快的方式在Redis数据集上执行复杂的搜索查询。RediSearch的独特架构是用C编写的,从头开始构建在优化的数据结构上,使其成为市场上其他搜索引擎的真正替代品。它可以作为一个独立的搜索引擎进行索引和可搜索数据的检索。
当我们第一次推出RediSearch时,我们将其与Elasticsearch和Solr等流行搜索引擎进行了对比,以测试该引擎的强大程度。这一次,我们决定尝试一个稍微不同的基准,以便(a)为您提供一个清晰、可重复的设置,所有搜索引擎都经过优化,以提供最佳性能,并(b)根据我们从RediSearch用户那里看到的情况模拟多种现实生活场景。
在这个搜索基准测试中,我们比较了RediSearch和Elasticsearch的两个用例:
我们首先从维基百科索引了560万个文档(5.3GB),然后在索引数据集上进行了两个单词的搜索查询。
如下图所示,RediSearch用221秒建立索引,而Elasticsearch用349秒,速度快58%。
数据集建立索引后,我们使用在专用负载生成器服务器上运行的32个客户端启动了两个单词的搜索查询。如下图所示,RediSearch的吞吐量达到了12.5K ops/sec,而Elasticsearch的吞吐量为3.1K op/sec,或快了x4。此外,RediSearch的延迟略好,平均为8秒,而Elasticsearch的延迟为10秒。
在这里,我们模拟了一个多租户电子商务应用程序,其中每个租户代表一个产品类别并维护自己的索引。对于这个基准,我们构建了5万个索引(或产品),每个索引最多存储500个文档(或项目),总共2500万个文档。RediSearch仅用201秒就建立了索引,同时平均每秒运行125K个索引。然而,Elasticsearch在921指数之后崩溃,显然并不是为了应对这种负载而设计的。
Name | Value |
---|---|
RediSearch | Version 1.4.3 |
Elasticsearch | Version 6.6.0 with Lucene version 7.6.0 |
RediSearchBenchmark | Benchmark code here |
我们为以下用例以RediSearch和Elasticsearch为基准:
Elasticsearch是由Elastic.co的伟人创建的一款功能丰富的搜索产品,但在性能方面,它存在固有的架构缺陷,如下表所示:
Component | RediSearch | Elasticsearch |
---|---|---|
搜索引擎 | 基于现代优化数据结构的专用引擎 | 基于Lucene引擎 |
编程语言 | 基于C语言,被极致优化过了 | Java |
存储技术 | 在DRAM和持久内存上本地运行 | 基于磁盘并带有缓存选项 |
协议 | 优化的RESP(REdis串行化协议) | HTTP |
在我们开始比较Elasticsearch和Solr之前,让我们简单定义一下它们是什么。
Elasticsearch是一个基于Apache Lucene的开源RESTful搜索引擎。它旨在处理大量数据,并提供近乎实时的搜索和分析功能。
Solr也是一个开源搜索平台,它也是建立在Lucene之上的。它旨在提供高速文本搜索、可扩展和容错的分布式搜索以及分面搜索功能。
既然我们知道了基本原理,让我们来比较一下这两者。
在选择搜索平台时,最重要的考虑因素之一是性能。Elasticsearch和Solr都提供高速搜索和分析,但Elasticsearch无疑在几乎所有基准比较中都更快。事实上,在某些用例中,Elasticsearch比Solr快50%。Elasticsearch的高级缓存和巧妙的内存使用使其比Solr更具优势。
Elasticsearch和Solr都是可扩展的,可以处理大量数据,但Elasticsearch的构建考虑到了可扩展性。Elasticsearch使用开箱即用的分布式架构,这意味着您可以通过添加更多节点来轻松地横向扩展集群。另一方面,Solr需要一些额外的配置来扩展。从这个意义上说,在可伸缩性方面,Elasticsearch显然是赢家。
Elasticsearch和Solr都擅长搜索,但它们对搜索的处理方式不同。Elasticsearch的搜索引擎是为结构化和非结构化搜索而构建的,而Solr更专注于文本搜索。Elasticsearch的DSL(领域特定语言)允许更复杂的查询生成器,而Solr的查询语法可能提供的灵活性较小。Elasticsearch还为搜索大型数据集提供了更好的聚合支持。
最后,易用性是一个重要的考虑因素。如果你习惯于使用Lucene,Solr将是两者中更容易学习的一个。另一方面,与Solr相比,Elasticsearch的学习曲线更陡。Elasticsearch拥有更全面的API。
那么,你应该选择哪一个呢?和大多数事情一样,这取决于你的具体需求。如果你需要闪电般的搜索、可扩展性,并且有学习新技术的诀窍,Elasticsearch可能是一个更好的选择。如果您对文本搜索更感兴趣,并且已经熟悉Lucene,Solr可能是更好的选择。