批处理

@echo off call :getUTCTime echo %UTCTIMESTR% exit /b :getUTCTime FOR /F "usebackq tokens=1,2 delims==" %%i IN (`wmic path win32_utctime get /format:list^|find "="`) DO ( if "%%i" EQU "Year" set YY=%%j if "%%i" EQU "Month" set MM=%%j if "%%i" EQU "Day" set DD=%%j if "%%i" EQU "Hour" set HH=%%j if "%%i" EQU "Minute" set MI=%%j if "%%i" EQU "Second" set SS=%%j if "%%i" EQU "DayOfWeek" set DW=%%j ) if %MM% LSS 10 set MM=0%MM% if %DD% LSS 10 set DD=0%DD% if %HH% LSS 10 set HH=0%HH% if %MI% LSS 10 set MI=0%MI% if %SS% LSS 10 set SS=0%SS% if "%DW%" EQU "1" set DWS=MON if "%DW%" EQU "2" set DWS=TUE if

echo off : 关闭命令回显（用于批处理） @ : 关闭当前回显 winver : 查看Windows系统版本 explorer: 文件资源管理器 来源： CSDN 作者： Wallezou 链接： https://blog.csdn.net/qq_40074648/article/details/104112180

一、Storm概况 Storm 是个实时的、分布式以及具备高容错的计算系统 Storm 进程 常驻内存 Storm 数据 不经过磁盘，在内存中处理 Twitter 开源的分布式实时大数据处理框架，最早开源于 github 2013 年， Storm 进入 Apache 社区进行孵化 2014 年 9 月，晋级成为了 Apache 顶级项目 官网 http://storm.apache.org/ 国内外各大网站使用，例如雅虎、阿里、百度 二、Storm架构 架构 Nimbus(主节点) + Supervisor(从节点) + Worker(工作进程) 编程模型 DAG ( Topology)(有向无环图) + Spout(数据源节点) + Bolt(中间节点以及终止节点) 三、Storm性能 高可靠性：异常处理、消息可靠性保障机制 可维护性：StormUI 图形化监控接口，如图所示 Storm与MapReduce比较 Storm ：进程、线程常驻内存运行，数据不进入磁盘，数据通过网络传递。适用于实时的数据流处理。 MapReduce ：为 TB 、 PB 级别数据设计的批处理计算框架。适用于大量的数据批处理。 Storm与SparkStreaming比较 Storm ：纯流式处理，专门为流式处理设计，数据传输模式更为简单，很多地方也更为高效。并不是不能做批处理，它也可以来做微批处理

1、进程是拥有资源的最小单位，线程是系统调度的最小单位 2、操作系统是一种系统软件，负责管理和控制软硬件资源，组织工作流程，在用户和计算机之间起到接口作用 3、单道批处理系统：只允许一道作业在内存中，多道批处理系统：同时允许多道作业在内存中 4、多道分时系统：按照时间片分配任务 来源： CSDN 作者： 青青飘飘摇摇 链接： https://blog.csdn.net/u010797002/article/details/104196449

目录 1 spark streaming介绍 1.1 背景 1.2 Spark Streaming 设计 1.3 Spark Streaming 与 Storm 的对比 现在的事实是 ---> twitter跳槽过来的同事说，现在他们内部已经不使用storm了，转而使用Spark Streaming，可见Spark Streaming正渐渐成为主流 2 架构及运行流程 2.1 架构 2.2 运行流程 3 DStream 3.1 DStream 输入源 3.2 DStream 转换操作 3.2.1 DStream 无状态转换操作 3.2.2 DStream 有状态转换操作 1）滑动窗口转换操作 2）updateStateByKey 操作 3.3 DStream 输出操作 4 SparkStreaming程序 4.1 socket 创建DStream 4.2 updateStateByKey 4.3 streaming用checkpoint恢复历史数据 1 spark streaming介绍 1.1 背景 随着大数据技术的不断发展，人们对于大数据的实时性处理要求也在不断提高，传统的 MapReduce 等批处理框架在某些特定领域，例如实时用户推荐、用户行为分析这些应用场景上逐渐不能满足人们对实时性的需求，因此诞生了一批如 S3、Storm 这样的流式分析、实时计算框架。Spark

cassandra读写数据 写 写一致性级别 cassandra的可调一致性级别意味着你可以在查询中指定所需的写操作一致性，一致性级别越高，说明需要更多的副本节点相应才能认为写操作完成，更高的一致性级别还可能带来可用性的下降，因为必须有更多的节点可以使用，写操作才能成功 一致性级别 含义 ANY 返回到客户端之前，确保这个值写入一个副本节点，提示可以算作一个写操作 ONE, TWO, THREE 返回到客户端之前, 确保至少写入1个，2个或3个节点的提交日志和memtable LOCAL_ONE 与ONE类似，不过有额外要求：响应节点应当在本地数据中心 QUORUM 确保至少大多数副本((副本因子/2)+1)接收了写操作 LOCAL_QUORUM 与QUORUM类似，但响应节点应当在本地数据中心 EACH_QUORUM 确保每个数据中心有QUORUM个节点响应 ALL 返回到客户端之前，根据副本因子指定的节点数，确保相应数目的节点接收了写操作，即使只有一个副本没有写操作，操作也会失败 查看默认的一致性级别 cassandra写路径 写路径描述如何处理客户端发起的数据修改查询，最终将把数据存储在磁盘上 客户端向一个cassandra节点发起一个写查询时，写路径开始，这个节点将作为这个请求的协调器。协调器节点使用分区器根据键空间的副本因子确定集群中的哪些节点是副本节点

1、概念 Spring Batch 是一款轻量级地适合企业级应用的批处理框架，值得注意的是，不同于其他调度框架，Spring Batch不提供调度功能。 2、批处理过程 批处理可以分为以下几个步骤： 读取数据 按照业务处理数据 归档数据的过程 3、Spring Batch给我们提供了什么？ 统一的读写接口 丰富的任务处理方式 灵活的事务管理及并发处理 日志、监控、任务重启与跳过等特性 4、基础组件 名称 用途 JobRepository 用于注册和存储Job的容器 JobLauncher 用于启动Job Job 实际要执行的作业，包含一个或多个step step 步骤，批处理的步骤一般包含ItemReader, ItemProcessor, ItemWriter ItemReader 从给定的数据源读取item ItemProcessor 在item写入数据源之前进行数据整理 ItemWriter 把Chunk中包含的item写入数据源。 Chunk 数据块，给定数量的item集合，让item进行多次读和处理，当满足一定数量的时候再一次写入。 TaskLet 子任务表， step的一个事务过程，包含重复执行，同步/异步规则等。 5、job, step, tasklet 和 chunk 关系 一个job对应至少一个step，一个step对应0或者1个TaskLet

1、概念 Spring Batch 是一款轻量级地适合企业级应用的批处理框架，值得注意的是，不同于其他调度框架，Spring Batch不提供调度功能。 2、批处理过程 批处理可以分为以下几个步骤： 读取数据 按照业务处理数据 归档数据的过程 3、Spring Batch给我们提供了什么？ 统一的读写接口 丰富的任务处理方式 灵活的事务管理及并发处理 日志、监控、任务重启与跳过等特性 4、基础组件 名称 用途 JobRepository 用于注册和存储Job的容器 JobLauncher 用于启动Job Job 实际要执行的作业，包含一个或多个step step 步骤，批处理的步骤一般包含ItemReader, ItemProcessor, ItemWriter ItemReader 从给定的数据源读取item ItemProcessor 在item写入数据源之前进行数据整理 ItemWriter 把Chunk中包含的item写入数据源。 Chunk 数据块，给定数量的item集合，让item进行多次读和处理，当满足一定数量的时候再一次写入。 TaskLet 子任务表， step的一个事务过程，包含重复执行，同步/异步规则等。 5、job, step, tasklet 和 chunk 关系 一个job对应至少一个step，一个step对应0或者1个TaskLet

(1)spring模式:尽管spring已经配置了事务,但以下代码中还是要设置事务,不然batch不会起作用;另外这里虽然设了一下事务处理,但对全局事务并不会造成影响; 注:不启用事务将建立多次连接,这表示batch没起作用,建立事务后一次连接就搞定了. Java代码 public void batchAddExamlog(List examlogList) throws SQLException{ SqlMapClient smc= this .getSqlMapClient(); try { smc.startTransaction(); smc.startBatch(); for (Iterator iter = examlogList.iterator(); iter.hasNext();) { Examlog log = (Examlog) iter.next(); smc.update( "insertExamlog" , log); } smc.executeBatch(); } catch (Exception e) { // TODO: handle exception } finally { smc.commitTransaction(); smc.endTransaction(); } } (2)直接采用回调函数设置 Java代码 public void

最近做一个小项目，用到Spring+iBatis。突然遇到一个很久远，却很实在的问题：在Spring下怎么使用iBatis的批处理实现？ 大概是太久没有写Dao了，这部分真的忘得太干净了。 从4个层面分析这部分实现： iBatis的基本实现 基于事务的iBatis的基本实现 基于事务的Spring+iBatis实现 基于回调方式的Spring+iBatis实现 1.iBatis的基本实现 iBatis通过SqlMapClient提供了一组方法用于批处理实现： startBatch() 开始批处理 executeBatch() 执行批处理 代码如下： Java代码 public void create(List<Reply> replyList) { try { // 开始批处理 sqlMapClient.startBatch(); for (Reply reply: replyList) { // 插入操作 sqlMapClient.insert("Reply.create", reply); } // 执行批处理 sqlMapClient.executeBatch(); } catch (Exception e) { e.printStackTrace(); } } 这是基于iBatis的最基本实现，如果你一步一步debug，你会发现：其实，数据库已经执行了插入操作！ 因此