batch

在使用Spring Batch时，JobExplorer作为查询浏览job以及Step的入口，可以方便的让我们及时掌握Batch的执行情况，一般会使用MapJobExplorerFactoryBean，它需要一个MapJobRepositoryFactoryBean属性，在进行xml配置时，如果配置成下面这种情况，会得到一个exception <bean id="jobRepository" class="org.springframework.batch.core.repository.support.MapJobRepositoryFactoryBean" > <property name="transactionManager" ref="batchTransactionManager" /> </bean> <bean id="jobExplorer" class="org.springframework.batch.core.explore.support.MapJobExplorerFactoryBean"> <property name="repositoryFactory" ref="jobRepository"/> </bean> Caused By: java.lang.IllegalStateException: Cannot convert value of

oracle和mysql数据库的批量update在mybatis中配置不太一样： oracle数据库： <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open="begin" close="end;" separator=";"> update test <set> test=${item.test}+1 </set> where id = ${item.id} </foreach> </update> mysql数据库： mysql数据库采用一下写法即可执行，但是数据库连接必须配置：&allowMultiQueries=true 例如：jdbc:mysql://192.168.1.236:3306/test?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open="" close="" separator=";">

需求： 根据传入的参数批量 删除数据： DAO: List ll = new ArrayList<Integer>(); for(int i=10;i<25;i++){ ll.add(i); } int res = userMapper.delUser(li); System.out.println(res); xml: <delete id="delUser" parameterType="list" > delete from users where id in <foreach collection="li" index="index" open="(" close=")" separator="," item="itm"> #{itm} </foreach> </delete> 这样处理会报错 com.chenzhou.base.mybatis.IbatisSystemException: SqlSession operation; nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: org.apache.ibatis.binding.BindingException: Parameter 'li' not

SpringBatch是Spring FrameWork的子项目.据说可以承受千万级的压力. SpringBatch适合做什么? 1.大规模的数据集需要处理 2.自动化不需要人工干预的 3.可靠性要求较高的 4.在性能上要求较高的 SpringBatch工作时序图 我这里做一个简单SpringBatch的实战 ,案例是想要做点数据清洗 Spring 3.1,Springbatch 2.1.8,hsqldb 2.2.9 SQL: CREATE TABLE SYS_APPSTORE ( APP_ID VARCHAR(20) NOT NULL, PARENT_ID VARCHAR(20), APP_DESC VARCHAR(100) NOT NULL, APP_URL VARCHAR(200), FOLDER BOOLEAN, PRIMARY KEY(APP_ID) ); java bean: public class SysAppStore implements Serializable { private final static long serialVersionUID = 19890414L; private String appId = null; private String parentId = null; private String appDesc = null;

Spring Batch_Parallel Steps_使用并行的Step spring 官方文档： http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html#scalabilityParallelSteps As long as the application logic that needs to be parallelized can be split into distinct responsibilities, and assigned to individual steps then it can be parallelized in a single process. Parallel Step execution is easy to configure and use, for example, to execute steps (step1,step2) in parallel with step3, you could configure a flow like this: <job id="job1"> <split id="split1" task-executor="taskExecutor" next="step4"> <flow> <step id="step1"

官方地址： http://spring.io/guides/gs/batch-processing/ Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。 业务方案： 批处理定期提交。 并行批处理：并行处理工作。 企业消息驱动处理 大规模的并行处理 手动或是有计划的重启 局部处理：跳过记录（如：回滚） 技术目标： 利用Spring编程模型：使程序员专注于业务处理，让Spring框架管理流程。 明确分离批处理的执行环境和应用。 提供核心的，共通的接口。 提供开箱即用（out of the box）的简单的默认的核心执行接口。 提供Spring框架中配置、自定义、和扩展服务。 所有存在的核心服务可以很容的被替换和扩展，不影响基础层。 提供一个简单的部署模式，利用Maven构建独立的Jar文件。 Spring Batch的结构： 这 种分层结构有三个重要的组成部分：应用层、核心层、基础架构层。应用层包含所有的批处理作业，通过Spring框架管理程序员自定义的代码。核心层包含了

Spring Batch_Multi-threaded Step spring官方文档： http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html The simplest way to start parallel processing is to add a TaskExecutor to your Step configuration, e.g. as an attribute of the tasklet: <step id="loading"> <tasklet task-executor="taskExecutor">...</tasklet> </step> In this example the taskExecutor is a reference to another bean definition, implementing the TaskExecutor interface. TaskExecutor is a standard Spring interface, so consult（查阅，参照） the Spring User Guide for details of available implementations. The simplest multi