Kafka超过保留期限数据未删除的问题


问题:retention.mskafka topis上的attribute的默认值设置为7天,但主题中的数据仍会保留7天。
Kafka版本:2.1.11
通常这是可以的,但对于某些情况,在应用程序启动时将kafka主题用作事实来源以在内存中创建内存缓存的情况,这可能会导致问题:

  • 由于他们必须在启动时读取更多数据
  • 可能最终在缓存中拥有更多数据

这是由于另一个参数segment.ms引起的。此参数确定主题的内部部分何时起作用。默认情况下再次设置为7天。
要解决此问题,将segment.ms参数设置为24小时就足够了,以便每天滚动分段,并在1周过去时删除旧数据。