Java批处理架构指南

20-12-12 3304 10K

在本文中，我们将学习如何使用Spring Boot创建一个简单的Spring Batch作业。首先，我们从定义一些基本配置开始。然后，我们将看到如何添加文件读取器和数据库写入器。最后，如何应用一些自定.

20-12-08 4021 2

所有这些框架（Kafka Streams，ksqlDB，Flink，Spark）对于特定的用例和需求都是很棒的。决策选择真的很难，因为涉及许多因素。以下是一些常见问题和准则，可帮助您做出正确的决定： .

20-11-01 1190 2K

Netflix拥有超过1.95亿用户，每天生成数PB的数据。数据科学家和工程师从我们的订户和视频中收集这些数据，并实施数据分析模型以发现客户行为，以最大程度地提高用户满意度。通常，数据科学家和工程师使.

20-10-23 1799 1

这是使用Storm，Kafka和ElasticSearch处理实时数据的文章和源码批处理和流处理的区别：批处理：批处理是要一起处理的数据的集合（请参见图1）。批处理允许您将不同的数据点合并，合并或聚.

20-10-17 3434 1 5K

在本教程中，我们将研究使用JobRunr在Java中进行分布式后台作业调度和处理，并将其与Spring集成。JobRunr是一个我们可以嵌入到应用程序中的库，它使我们可以使用Java 8 lambda.

20-09-08 1075 2K

企业正在从传感器，智能手机，IT设备，网站和其他非传统来源获取越来越多的数据，并实时处理这些数据以改善运营并更好地为客户服务。数据通常来自多个来源，并收集在一个开放的数据湖中，在这里它与现有的历史数据.

20-05-25 2176 10K

为了说明为什么Debezium和Delta Lake是一个有趣的组合，尤其是对于涉及微服务应用程序和大数据的用例，我将分享我最近遇到的一个故事。客户的用例我们的一位客户通过以下故事与我联系：该公司正.

20-05-01 2472 2 13K

传统单体架构下的分布式事务概念并不适合微服务，面临的挑战很多(挑战问题点击标题见原文)，想在微服务中进行分布式事务处理？需要改变思路和视角：组合，如果您认为您应该合并几个微服务或将事务集成到一个服务中.

20-03-13 1899 4K

默认情况下，Spring批处理作业因执行期间引发的任何错误而失败。但是，有时，我们可能需要提高应用程序的弹性来处理间歇性故障。在本快速教程中，我们将探索如何在Spring Batch框架中配置重试逻辑.

20-02-15 2743 1

如果说“软件正在吞噬世界”，那么“数据就是新的石油”。那些能够最好地管理海量数据的人将脱颖而出。精炼这种油的最先进方法是流加工。在这篇文章中，我想描述什么是流处理，以及为什么在当今时代有必要进行流处理.

19-06-23 978

按计划的时间间隔处理批量文件是当今企业应用程序系统中最常用的自动化任务之一。这种类型的批处理文件处理可用于各种用例，例如创建备份，分析日志，执行计算等。在本文中，我们将构建一个满足以下要求的批处理文件.

19-04-07 896

19-01-30 5354 1 10K

默认情况下，100个插入将导致100个SQL INSERT语句，这很糟糕，因为它导致100次数据库往返。批处理机制能够使用分组的机制INSERTs，UPDATEs,并DELETEs,作为一个结果，它显.

12-10-10 9 1312 1

大家好：有这样一个问题怎么处理分析了，大致情况如下：一个组集群服务器（server1 ，server2 ，server3 ，server3），每天产生很产生很多日志（记录了IP，时间。。。.

11-04-12 4 2553

项目概述：xx银行是通过ETL从核心业务系统中提取业务数据、并转换成SAP R3 系统中对应的业务数据。SAP R3 系统业务数据输出到SAP BW 数据仓库中进行数据建模，最后通过SAP BO .