• 假设有一个您需要定期运行的流程，例如一天结束 (EOD)。假设这个流程中需要处理的数据量在不 icon
  • 本文将帮助您以您可以配置的标准方式自动化您的工作。它还可以通过各种方式触发您的作业并执行您的业务代码。调度作业的方法有很多，包括cron 作业和Windows 任务调度程序，但这些解决方案对用户不友 icon
  • Apache Flink与Kafka Stream都能实现流处理，但在一些重要方面有所不同。 下面是从用户的角度出发的，不涉及实现细节： [b]支持的流平台不同[/b] [list] [*]作为的Apache Kafka项目的一部分，Kafka Streams专门 icon
  • 数据管道是任何公司数据基础架构中的关键组件。 许多公司用来管理其数据提取和转换的一种框架是 Airflow。无论是 100% 使用 Airflow 及其各种运算符，还是使用 Airflow 编排其他组件，例如 Airbyte 和[url= icon
  • 随着数据成为现代企业中越来越重要的一部分，组织经常发现自己需要处理大量数据。处理数据的两种常见方法是批处理和事件流。 批处理 [list] [*]批处理涉及通常在预定的时间间隔（例如每天或每周）内一次处理数据。 icon
  • 论文对阿里巴巴集群中部署的大规模微服务进行了全面的研究。他们分析了 7 天内 20,000 多个微服务的行为，并根据收集的 100 亿条调用跟踪来分析它们的特征。[url= icon
  • 在这篇博文中，我介绍了批处理开发人员或架构师在大规模设计和运行批处理应用程序时可能面临的一些挑战，并展示了 Spring Batch、Spring Boot 和 Kubernetes 如何极大地简化这项任 icon
  • 我在 Hadoop/Bigdata 的早期阶段开始研究数据管道，当时大数据是一个流行词。Apache Oozie （有人还记得 Oozie 吗？）是一种用于编排数据管道的首选工具，您必须在 XML 文件中手动编码工作流（毫不奇怪，文件名是 workflow.xml）。< icon
  • 自从数据科学进入 IT 游戏并开始构建大量模型和项目以来，对工作编排的需求已经上升。由于 Jellysmack 的业务主要集中在帮助视频创作者在观众和质量方面增长，我们的许多团队都依赖从 YouTube（或其他社交平台，如 Facebook、Snapchat 等）提取的数据。这正是定义工作的方式，如 icon
  • 使用像 PostgreSQL 这样的关系数据库作为作业队列是一种可以接受的方法，一些公司在生产中成功使用了这种方法。虽然 Redis 等更传统的队列可能更适合高吞吐量低延迟用例，但数据库可以为作业处理提供事务保证。不需要长时间超时的短作业可以很好地工作。前提是如果每秒处理 10K 事务并且作业平均不 icon
  • 有时，与其同时做很多小事，不如将它们捆绑在一起，一次完成，作为一个批处理。所以在星期四早上的一个银行假期里，我很早就醒了（主要是因为我 1 岁男孩的尖叫声）并且（在尖叫声停止后）写了一个crate 来帮助做到这一点：[url= icon
  • 本文讨论了“推”和“拉”查询引擎的区别。 [list] [*]推式查询引擎是指生产者主动将数据传递给下游操作符， [*]而拉式查询引擎是指消费者主动请求数据。 [/list] 推式查询引擎能够高效处理有向无环图(DAG)的查询计划，并提高缓存效率。文章还解释了为什么推式系统能够处理DAG计划以及如何 icon
  • 公司建立数据管道以准备数据成分、提取见解并在内部和外部各方之间分发调查结果。处理各种海量数据的能力已成为推动业务成功的关键因素。然而，构建和管理数据流并不简单。您必须考虑从不同来 icon
  • 最近，我们在 ALTEN 的一位客户表示希望开始从他们的操作系统中提取和集中数据。从分析的角度来看，他们的信息环境处于未开发状态。这为创建集中式分析平台留下了许多架构选项。 我们对数据处 icon
  • 下面是我在尼尔森工作时的实现，这在 Airflow 中使用 Soda 来实施数据质量检查的[url= icon
  • 有些人称它为cron作业，计划任务，或批处理作业。不管你怎么称呼它，它是一个定期运行的进程，查看数据库的状态，以确定对它发现的各种记录采取的一些具体行动。 如果你处理过这个问题，你可能知道这可能是一场噩梦，尤其是失败的情况。 [b]避免批处理工作 icon