• 文件摄取是一种ETL应用程序,它逐行读取文件,验证每个行条目,并经常执行某种类型的数据转换。生成的条目放在数据存储中,这些转换后的数据可以被其他应用程序使用。这种类型的处理经常出现在B2B集成领域,零售商的制造商产品更新批量供应产品,金融服务公司之间的证券交易以及内部批处理过程中。事实上,这
  • Spring Batch是一个用于创建健壮的批处理应用程序的完整框架。您可以创建可重用的函数来处理大量数据或任务,通常称为批量处理。
  • 大多数应用程序至少具有一个批处理任务,在后台执行特定的逻辑。编写批处理作业并不复杂,但是您需要了解一些基本规则,这里将列举一些我发现最重要的规则。从输入类型的角度来看,处理项目可以通过轮询数据库来实现,也可以将数据通过队列推送到系统中来实现。下面显示了典型批处理系统的三个主要组件:< icon
  • 这是一个示例Spring Batch应用程序,用于向多个收件人发送电子邮件。csv文件是一个电子邮件地址列表,通过Spring Batch提取并向每个收件人发送电子邮件,包括附件。示例csv文件和附件文件作为案例提供。该代码使用 icon
  • 在本文中,我们将学习如何使用Spring Boot创建一个简单的Spring Batch作业。首先,我们从定义一些基本配置开始。然后,我们将看到如何添加文件读取器和数据库写入器。最后,如何应用一些自定义处理并检查我们的作业是否成功执行。可以 icon
  • 默认情况下,Spring批处理作业因执行期间引发的任何错误而失败。但是,有时,我们可能需要提高应用程序的弹性来处理间歇性故障。在本快速教程中,我们将探索如何在Spring Batch框架中配置重试逻辑。假设我们有一个批处理作业,它读取输入的CSV文件: icon
  • 在这篇博文中,我介绍了批处理开发人员或架构师在大规模设计和运行批处理应用程序时可能面临的一些挑战,并展示了 Spring Batch、Spring Boot 和 Kubernetes 如何极大地简化这项任务。 Spring Batch 是 JVM icon
  • 自计算机使用兴起以来,公司出于不同的目的始终依赖批处理数据,要么是在应用程序之间移动数据 (ETL),要么是进行一些需要很长时间才能实时完成的并行计算。 处理大量数据的挑战始终在于如何充分利用可用的计算资源,从而优化时间和成本。 icon
  • Spring Batch是 Java 中用于批处理的强大框架,因此使其成为数据处理活动和计划作业运行的流行选择。根据业务逻辑的复杂性,作业可以依赖不同的配置值和动态参数。 在本文中,我们将探讨如何使用JobParameters以及如何从基本批处理组件访问它 icon
  • 在 Spring Batch 中处理长时间运行的作业可能很棘手,尤其是在管理数据库连接和事务时。在我们关于 Developer's Coffee 的最新文章中,我们深入探讨了 Spring Batch 作业由于连接限制而超时的现实问题。 了解我们如 icon
  • 在本文中,了解如何使用 ShedLock 在分布式系统中执行任务,ShedLock 是一个在复杂 Spring 应用程序中协调任务的有用工具。 在当今的分布式计算环境中,协调多个节点之间的任务同时确保它们在没有冲突或重复的情况下执行,提出了重大挑战。无论是 icon
  • 在 Spring Batch 中,自定义读取器和写入器是您可以创建的组件,用于以符合应用程序要求的选定方式读取和写入数据。这些组件在批处理作业中用于处理记录的输入和输出。 自定义读取器:Spring Batch 中的自定义读取器负责分析来自数据源的 icon
  • 在本文中,我们将演示如何使用 Spring Batch 从 Excel (.xls 或 .xlsx) 文件读取所有行并将其保存到 Spring Boot 应用程序中的数据库中。我们将介绍从读取 Excel 文件、将行转换为Entity实例、将这些实例保存到数据库、记录进度以及使用 cron 表达式安 icon
  • 在本文中,我们探讨了使用 Spring Batch 运行多个作业的一些方法。通过理解本文中使用的基本示例,我们可以设计一个更高效、可扩展且更易于维护的批处理系统。 Spring Batch是一个强大的框架,通过提供可重用的组件和可靠的基础架构,可以轻松处理 icon
  • 在本文中,我们学习了如何实现和测试CompositeItemReader,它允许我们按特定顺序处理来自多个来源的数据。通过将读取器链接在一起,我们可以按特定顺序处理来自文件、数据库或其他来源的数据。 在 icon
  • 实现标准 REST API 涵盖了大多数典型用例。但是,基于 REST 的架构风格在处理任何批量或批处理操作时存在一些限制。 在本教程中,我们将学习如何在微服务中应用批量和批处理操作。此外,我们还将实现一些自定义的面向写入的批量和批处理 API。 icon
  • Spring Batch 的默认可重启性支持从作业失败中进行稳健恢复,确保失败的作业可以从故障点恢复,而无需重新处理已完成的项目或丢失数据。 在本文中,我们创建了一个简单的作业来演示此重启功能。我们配置了一个作业来分块处理项目,模拟Item3发生故障。重启 icon