Netflix万亿级实时数据基础设施的四个创新阶段


徐振中于201 年加入 Netflix,担任实时数据基础架构团队的创始工程师,后来领导了流处理引擎团队。
他分享了他的团队的主要成就:
  • 在 Netflix 的所有组织中将流数据用例从 0 增加到 2000 多个。
  • 构建和发展了成功的产品,例如Keystone托管 Flink 平台Mantis和托管 Kafka 平台。这些产品在数据生态系统的许多方面提供解决方案:包括数据摄取、移动、分析和操作处理以及机器学习用例。
  • 是业内率先扩展开源 Kafka 和 Flink 部署以在 2017 年左右每天处理 1 万亿个事件的公司之一,后来到 2021 年又扩展了 20 倍!
几个月前,他离开了 Netflix,在实时 ML 领域追求类似但扩展的愿景。我认为现在是总结我在 Netflix 构建实时数据基础架构的经验的最佳时机。我希望这篇文章能帮助平台工程师开发他们的云原生、自助式流数据平台,并在许多业务功能中扩展用例。
点击标题见原文