Apache Wayang :跨平台数据处理系统

22-03-18 banq

Wayang 使用户能够在多个数据处理平台上运行数据分析。为此,Wayang 在现有平台之上提供了一个抽象,以便在任何平台集之上运行数据分析任务。因此,用户可以专注于其应用程序的逻辑,而不是底层平台的复杂性。
Apache Wayang 是 5 年综合研究的成果,已经发表了十几篇论文,在正常情况下,Wayang 将比 Spark 快 30 倍,因为我们将不同的平台和孤岛组合到一个 AI 解决方案中。通过特殊调优,我们的性能比 Apache Flink 和 Apache Spark 提高了 50 倍。
Apache Wayang 了解 UDF 并针对底层处理平台优化功能。在处理数量减少的数据点时,它还使用小型 JVM 实例来减少操作开销。
 
与提供专用执行引擎的经典数据处理系统相比,Apache Wayang 是一个元处理框架:您可以通过 Apache Wayang 的 API 指定您的数据处理应用程序,然后 Apache Wayang 将选择经典处理框架的最佳配置,例如 Java Streams 或 Apache Spark,以在其上运行您的应用程序。最后,Apache Wayang 也会执行执行,从而隐藏不同的特定平台 API 并协调平台间通信。

Apache Wayang 使用 Java 8 和 Scala 2.11 构建。但是,要执行 Apache Wayang,安装 Java 8 就足够了。

点击标题

猜你喜欢