Spring专题

面向数据块的Spring批处理

面向数据块的Spring批处理源码下载

大数据集的处理是在软件世界中最重要的问题之一。 Spring Batch的是一个轻量,稳定的批处理框架用于处理数据集。

Spring Batch 框架提供了 '面向TaskletStep' 和 '面向块处理Chunk Oriented' processing 两种风格.

面向块处理功能存在Spring Batch的2.0版。它指的是一次读取数据,在事务边界将多个"块Chunks"写入。一个条目从ItemReader读取,交给一个ItemProcessor写入。一旦读出条目的数量等于提交的时间间隔,整个块通过ItemWriter写入,整个事务被提交确认。

这个功能适合数据读写都必须,而面向TaskletStep适合只有读或只有写的情况。

面向块处理模型暴露出三个重要接口ItemReader , ItemProcessor中和ItemWriter,在org.springframework.batch.item包下面。

ItemReader :该接口用于提供数据。它读取的数据进行处理。

ItemProcessor中:这个接口用于项目改造。输入对象进行处理,并转化为输出对象。

ItemWriter :这个接口是用来作为通用输出操作。它写入由ItemProcessor转化的数据。例如,表中数据可以被写入到数据库中,存储器或(等)的OutputStream 。在这个示例应用程序中,我们会写入到数据库。

该项目展示了如何开发Spring Batch的面向块处理。使用的技术时,Hibernate , Spring Batch的2.1.9 JDK 1.7.0_09 , 3.1.3春季4.1.8 , Tomcat的JDBC 7.0.27 , MySQL 5.5.8中, MySQL连接器5.1.17和Maven 3.0.4

SpringBatch专题