性能竟然再提升一倍!Redis的一个实例有多快?- keydb.dev


Redis被称为最快的数据库之一。但是如果删除了一些限制,那么独立实例的速度会变得多快?我们经常听说Redis可能会在受到CPU性能限制之前受限于网络或内存。根据您的设置,它可以是任何这些。

在本文中,我们将讨论如何制作一个几乎使Redis性能提高一倍的模块!

EQ Alpha推出了KeyDB,这是一个Redis的多线程,开源的分支,证明多线程可以带来巨大的性能提升。然而,我们总是困扰另一个主要瓶颈的领域。性能通常被固定在内核中的自旋锁和系统调用中。随着NIC的大发展,Linux成为处理数据包的瓶颈。使用内核数据包复制,中断和系统调用,通过内核处理的数据受到限制,这属于“Linux内核空间”; 另一方面,我们在应用程序中运行称为“用户空间”的应用程序,所以问题变成是没有办法绕过内核?

英特尔开发出了数据平面开发套件(DPDK),提供驱动程序和库以加速数据包处理工作量。绕过内核的想法允许在用户空间处理数据流,而Linux处理控制流。

将这个想法付诸实践,并使用EQ Alpha刚刚发布的模块进行测试。该模块允许Redis在用户空间中与NIC进行交互,绕过内核。这使得正常的Redis独立实例从164,000 ops / sec变为超过300,000 ops / sec,Redis 5.0实例的延迟减少约1.8倍。下图显示了每秒操作数与数据大小。测试使用最新版本的Redis(5.0)进行,并添加了Accelerator模块:


在单个机器实例上可以看到最大的收益(不在同一服务器上运行节点集群 - 尽管这里仍然可以看到一些增益)。在同一服务器上或作为计算机集群的一部分运行主/副本也有很大的收益。如果服务器受CPU限制,则增益可能不高。建议使用具有4个或更多内核的计算机
通过在用户空间内操作,这些都是可观的收益。使用此模块可以在此环境中使用Redis实例,而无需修改基本代码。Redis将在Unix套接字上运行,从而使dpdk的性能更快。使用环境抽象层(EAL)以及其他堆栈组件,该模块能够轮询和解释数据,而无需中断处理的开销。它能够在自己的框架内运行,并允许您继续使用Redis的生产版本或该注释上的任何其他版本的Redis(包括不稳定版本和新版本)。
这个概念很有意思,它充满了对内部发生的好奇心。那么在没有这些限制的情况下运行Redis实例会是什么样子?下面是两个Flamegraph,可以帮助提供配置软件的可视化。它们是在使用模块运行Redis时生成的,并且运行它时没有:
下面是在未修改的Redis上执行常规基准测试时生成的火焰图。

下面是在基准测试期间生成的火焰图,其中Accelerator模块在后台运行:


希望本文有助于展示您的Redis实例可以解锁的潜力。EQ Alpha与此模块和KeyDB项目的目标之一是帮助驱动选项,以实现更大,更强大的实例,从而通过能够处理更多负载来最小化分片和群集的需求。该模块采用独立模块形式,非常有用,因为无论Redis基本代码的下一步版本和未来版本如何,它都可能提供性能提升。