2023年流Stream预测 - tspann


Apache Pulsar、Apache Flink SQL as a Service、Apache Pinot等流Stream架构技术预测:

Apache Pulsar
2023年,Pulsar的新版本将提升其作为信息传递和流媒体必须具备的中央枢纽的用途。
这将推动只有流媒体或消息传递平台无法实现的使用案例:Pulsar将成为微服务、湖心岛和不同系统进行通信的中央枢纽。
它将与RedPanda、JMS、WebSockets、Kafka、RabbitMQ和其他消息传递系统一起位于中心位置,将其作为分发事件的通用渠道。

Apache Flink SQL as a Service
Flink SQL将是一个必须的服务,每个人都会使用一些服务来与Kafka和Pulsar对话。对于实时连续分析和实时分析来说,使用非常相似的非Flink基础系统的情况也将会增加。

Apache Pinot
我看到Pinot的快速扩张,即使是那些不需要它的规模的用户。它与Pulsar、Flink和其他现代快速系统配合得很好。

WASM
新的K8?不,但每个人都会谈论的东西,添加到平台,成为每个人的工具箱的一部分。这感觉就像Docker爆炸时,每个人都需要它。

MQTT
这是一个行之有效的协议,是任何信息传递平台的必备条件。

Streaming边缘设备
随着越来越多强大的边缘设备、GPU、CPU、内存和网络带宽,我们将看到流媒体在边缘一路开始,而不仅仅是原始事件流。我希望看到Pulsar、Flink和其他流媒体库、节点和客户端在数据诞生时运行。我还期望物联网网关上的流媒体节点有更大的飞跃,这些节点现在可以有100多GB的内存、几十个CPU代码、GPU和几TB的磁盘,非常强大。

ML Streaming
机器学习和人工智能工作负载向事件直播流的扩展一直在缓慢进行,但将发展成为主流,因为没有人可以再等待批量或缓慢的数据。

无态微服务
随着代码被推送到需要运行的地方并在需要时进行扩展,在整个过程中分发代码而没有困难的部署或设置将成为标准。这是Apache Pulsar的一个完美用例,从Pulsar功能开始。

Java Apps
有了新的库、JDK、Spring 更新和本机执行,让 Java 又一次复兴。Python 仍将无处不在,并且对于机器学习来说意义重大。

其他
许多较新的语言将找到新的利基市场并为提高速度而扩展。Rust、Carbon、Go 和用例特定语言。不要忘记 SQL!