Spring Batch

【推荐阅读】微服务还能火多久？>>> Spring Batch 在 autowire 的时候提示： Could not autowire. No beans of 'JobBuilderFactory' type found. 这个错误提示其实是在 IntelliJ 中提示的，尽管有这个错误，你的程序还是可以运行没有问题的。 简单来说，这个提示就是 IntelliJ 没有办法通过 Autowire 找到对应的 Bean。 如果你使用的是 Spring Batch 的话，你可以在你的 Batch 配置文件中添加： @EnableBatchProcessing 注解。 这样的话，你的Class 就不会在 IntelliJ 中有这个错误提示了。 https://www.cwiki.us/display/SpringBatchZH/questions/57939048 来源： oschina 链接： https://my.oschina.net/honeymoose/blog/3234954

本发布版本中为 JSR-305 支持添加了一个注解。这个为了与 Spring 框架中的 Null-safety 注解取得平衡，然后为 Spring Batch 添加为 public APIs。 这个注解不仅仅在使用 Spring Batch APIs 来强制空安全（null-safety），同时还可以通过使用 IDEs 来提供有用的相关 nullability 信息。例如，如果用户希望实现 ItemReader 接口，任何能够支持 JSR-305 注解的 IDE 将会生成类似下面的代码： public class MyItemReader implements ItemReader<String> { @Nullable public String read() throws Exception { return null; } } @Nullable 注解将会出现在 read 方法中，用来表示这个方法的内容可能将会返回一个 null。 这个将会强制在 Javadoc 中强制表示当在数据资源耗尽的时候，方法 read 将会返回一个 null 。 来源： oschina 链接： https://my.oschina.net/u/2344080/blog/3004359

设置一个远程分块任务需要定义一系列的 beans： 一个连接工程来从消息中间件中获得连接，消息中间件包括有（JMS，AMQP 和其他） 一个 MessagingTemplate 来从主向从发送消息，然后再次发送回来 为 Spring 整合从消息中间件中获得消息来创建一个输入和输出通道 一个特殊的内容写（item writer）（ChunkMessageChannelItemWriter）在主机侧，这样真多处理和写入能够知道如何发送分块数据到工作机 在工作机侧的消息监听器（ChunkProcessorChunkHandler）来从主机上接受数据 这个在第一次看来的时候好像非常复杂，并且是一个艰巨的任务。在新发布的版本中我们介绍使用注解 @EnableBatchIntegration 来作为一个新的 API（ RemoteChunkingMasterStepBuilder 和 RemoteChunkingWorkerBuilder ） 来简化配置。下面的示例显示了如何使用新的注解和 API： @Configuration @EnableBatchProcessing @EnableBatchIntegration public class RemoteChunkingAppConfig { @Autowired private

Chunk-Oriented Processing 不是处理 step 的唯一方法。 考虑下面的一个场景，如果你仅仅需要调用一个存储过程，你可以在 ItemReader 中实现这个调用，然后在存储过程完成调用后返回 null。这种设计看起来不是那么自然也不是非常优美，因为你的批量设计中甚至都不需要实现 ItemWriter。针对这种情况，Spring Batch 为你提供了 TaskletStep 选项。 TaskletStep 是一个简单的接口，这个接口只需要实现一个方法 execute ，这个方法将会被TaskletStep多次重复的调用，直到这个方法返回 RepeatStatus.FINISHED 或者抛出异常来表示调用失败。 Tasklet 的每一次调用都会包含在事务中（Transaction）。Tasklet 的实现（implementors）可以调用一个存储过程，一个脚本或者一个简单的 SQL 更新脚本。 针对我们的实践中，我们可以使用 Tasklet 来执行一个 FTP 的任务。 将我们产生的中间文件上传到不同的 FTP 服务器上，你可以在实现中指定不同的服务器配置参数，这样更加有利于代码的重用。 为了能够创建一个 TaskletStep ，Bean 需要传递一个 tasklet 方法到构造器（builder），这个 tasklet 方法需要实现 Tasklet 接口

启动方式 主要是通过 JobLauncher 来启动一个Job,当 JobLaunchar 启动一个Job时，有分成是 同步处理 还是 异常处理 。 这个是通过在创建 JobLauncher 时有没有给它设置线程池如： public JobLauncher asyncJobLauncher() throws Exception { SimpleJobLauncher jobLauncher = new SimpleJobLauncher(); jobLauncher.setJobRepository(this.jobRepository); jobLauncher.setTaskExecutor(new SimpleAsyncTaskExecutor()); jobLauncher.afterPropertiesSet(); return jobLauncher; } 启动一个Job: JobLauncher.run(job,jobParameters); 在不同场景下的调用 通过webApp 定时任务 命令行调用 可以在一个单独的jvm中执行批处理作业。通过命令的方式可以手动触发，也可以定义自动任务通过脚本的方式执行批处理作业。Spring Batch 提供的命令执行类： CommandLineJobRunner , 格式如下： java -classpath "xx"

Chunk 面向批的处理操作，提供了标准的 read process write 三种操作。 除此外还提供了 异常处理 可靠性 稳定性 异常重入能力 。具体包含 事务提交间隔 跳过策略 重试策略 读事务队列 批处理完成策略 属性 reader 读数据BeanID processor 处理数据BeanID writer 写数据BeanID commit-interval 提交间隔，指读多少条数据后再才交给writer处理 skip-limit 异常发生时，允许跳过的最大数 skip-policy 跳过策略BeanID retry-policy 重试策略BeanID retry-limit 任务执行重试的最大次数 cache-capacity retry-policy 缓存的大小 reader-transactional-queue 从一个事务性的队列读取数据 processor-transactional 处理数据是否在事务中 chunk-completion-policy 批处理完成策略 子元素 <chunk> <reader/> <processor/> <writer/> <streams/> <retry-policy/> <retryable-exception-classes/> <!--定义一组触发重试的异常--> <retry-listeners/> <!-

... 来源： oschina 链接： https://my.oschina.net/u/2552286/blog/3166998

在默认情况，如果你对 Spring Batch 不进行配置的话。 Spring Batch 将会对所有存在的作业（Job）进行执行。 考察项目： https://github.com/cwiki-us-spring/cwiki-us-spring-batch-examples 你可以 Check out 到本地后运行： gradlew :service:bootJar 将会对项目进行编译，程序将会输出： C:\WorkDir\Repository\Spring\cwiki-us-spring-guides\cwiki-us-spring-batch-examples>gradlew :service:bootJar > Configure project : You are using one or more deprecated Asciidoctor Gradle plugin features. To help with migration run with --warning-mode=all. Repository https://jcenter.bintray.com/ replaced by https://maven.ossez.com/repository/internal. BUILD SUCCESSFUL in 10s 6 actionable tasks:

pom <spring-boot.version>2.2.2.RELEASE</spring-boot.version> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> yml spring: batch: job: enabled: false #是否自动执行定义的Job，默认是 initialize-schema: never 本人将write,read,process...等bean定义在java中。把job定义在xml中，这样看的比较清楚。特别是有使用flow，或job之前相互引用时。 自定义配置 如果你想修改 JobRepository , jobExplorer 等其他组件时，可以实现 BatchConfigurer 接口并注册至容器中。系统默认是使用 BasicBatchConfigurer 作为Spring Batch 的默认配置，你也可以继承它来覆盖要重写的组件 java @Configuration @EnableBatchProcessing @ImportResource("classpath:batch/spring-batch.xml") public

关于end、stop、fail 元素的使用 通过这些元素，不必从头到尾指定完Step才退出Job的执行。可以在执行某个Step时，根据其退出状态来决定是否退出Job end 元素 根据ExitStatus来正确的完成Job,使得end结束后其job的状态为COMPLETED 属性 on 条件，根据ExitStatus来匹配。可以使用*和? exit-code 退出代码 示例配置： <step id="step"> <end on="" exit-code="" /> </step> stop 元素 根据ExitStatus来停止Job，停止后Job的状态为STOPPED 属性 on 条件，根据ExitStatus来匹配。可以使用*和? restart stepBeanID,表示当job重启时候，从该step开始执行 exit-code 退出代码 <step id="step"> <stop on="" restart="" exit-code="" /> </step> fail 元素 根据ExitStatus 来让Job失败，失败后的Job的状态为FAILED 属性 on 条件，根据ExitStatus来匹配。可以使用*和? exit-code 退出代码 <step id="step"> <fail on="" exit-code="" /> </step> 来源：