Timestone:Netflix 的高吞吐量、低延迟优先队列系统

22-09-30 banq

Timestone:Netflix 的高吞吐量、低延迟优先队列系统,内置支持不可并行化的工作负载。

Timestone 是我们内部构建的高吞吐量、低延迟优先级排队系统,用于支持我们的媒体编码平台Cosmos的需求。在过去的 2.5 年里,它的使用有所增加,Timestone 现在也是支持我们通用工作流编排引擎(Conductor)的优先队列引擎,以及大规模数据管道的调度器(BDP Scheduler)。总而言之,Netflix 内的数百万个关键工作流现在每天都流经 Timestone。

Timestone 客户端可以创建队列,使用用户定义的截止日期和元数据将消息排入队列,然后以最早截止日期优先 (EDF) 的方式将这些消息出列。还支持使用标准过滤 EDF 消息(例如,“属于队列 X 并具有元数据 Y 的消息”)。

Timestone 与其他优先级队列的不同之处之一是它支持我们称为独占队列的构造——这是一种将工作块标记为不可并行化的方法,无需在消费者端进行任何锁定或协调;一切都由后台的排他队列处理。

我们将在接下来的部分中详细解释这个概念。
详细点击标题