比较 Vector、Fluent Bit、Fluentd 性能 - ibm


我们将根据日志收集率、CPU 和内存比较日志收集器FluentdFluent BitVector的性能。

  • Fluentd:这是一个用于统一日志记录层的开源数据收集器。Fluentd 将日志视为 JSON,这是一种流行的机器可读格式。它主要是用 C 语言编写的,带有一个为用户提供灵活性的瘦 Ruby 包装器。Fluentd 允许统一数据收集和使用,以便更好地使用和理解数据。它从不同的节点收集集群级别的日志数据,并可以将其转发到各种类型的接收器。
  • Fluent Bit:这是另一种开源收集器类型,它从不同来源收集指标和日志等任何数据,使用过滤器丰富它们,并将它们发送到多个目的地。Fluent Bit 是用 C 语言编写的,设计时考虑到了性能:高吞吐量,低 CPU 和内存使用率。
  • Vector:内置 Rust,Vector 速度快、内存高效,旨在处理最苛刻的工作负载。Vector 支持日志和指标,可以轻松收集和处理所有可观察性数据。

......
结论:
我们观察到,在大多数情况下,Vector 的性能在每个 CPU 的 LPS 和 LPS 方面是最好的。与其他收集器相比,它具有高度的可扩展性,并且内存消耗也显着减少。在 CPU 消耗方面,Fluent Bit 性能最好。