批处理

1.打开ps，点击窗口中的动作 2.新建动作，起名字，点击记录 3.打开要处理的一张图片，更改图像大小（点击图像->图像大小或alt+ctrl+I），保存（点击文件->储存为->保存），选择合适的大小，确定 4. 停止动作 5.点击文件->自动->批处理，选择要执行的动作，选择要执行的目录，选中“覆盖动作中的打开命令”和“覆盖动作中的储存为命令”，点击确实，就会自动处理了。 来源： CSDN 作者： beigequzhu 链接： https://blog.csdn.net/beigequzhu/article/details/104667616

windows 批处理bat字符串替换； bat 示例： @echo off echo ***** 替换IP ***** set strFilePath=C:\Users\Administrator\Desktop\123\123.txt set str_ip=127.0.0.1 set chk_ip=172.16.2.17 setlocal enabledelayedexpansion for /f "tokens=*" %%i in (%strFilePath%) do ( set "var=%%i" if not !var!.==. ( set "var=!var:%str_ip%=%chk_ip%!" echo !var!!>>%strFilePath%.bak ) ) move /y %strFilePath%.bak %strFilePath% pause 文件copy 备份 :: 复制备份 copy "C:\Users\Administrator\Desktop\123\123.txt" "C:\Users\Administrator\Desktop\123\123.txt-bak" 来源： https://www.cnblogs.com/sharesdk/p/12410882.html

前段时间刚出来的flink 1.10版本，大家满怀期待，热情高涨，这是flink社区迄今为止规模最大的一次版本升级，下面呢，我就主要从八个地方介绍下升级后的flink中的数据流编程模型。 1.抽象级别 Flink提供了四个级别的抽象来开发流/批处理应用程序。 最低级别的抽象仅提供状态流。它 通过Process Function嵌入到DataStream API中。它允许用户自由地处理一个或多个流中的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处理时间回调，从而允许程序实现复杂的计算。 实际上，大多数应用程序不需要上述低级抽象，而是针对核心API进行编程， 例如DataStream API（有界/无界流）和DataSet API（有界数据集）。这些API提供了用于数据处理的通用构件，例如各种形式的用户指定的转换，联接，聚合，窗口，状态等。这些API中处理的数据类型以相应编程语言中的类表示。 低级别的Process Function与DataStream API集成在一起，从而可以仅对某些操作进行低级别抽象。该数据集API提供的有限数据集的其他原语，如循环/迭代。 该Table API是为中心的声明性DSL 表，其可被动态地改变的表（表示流时）。该Table API遵循（扩展）关系模型：表有一个模式连接（类似于在关系数据库中的表）和API提供可比的操作，如选择，项目，连接

IT技术学习：一种是采用循序渐进的系统式学习；一种是采用“投机取巧”的碎片式学习。我这个人比较赖，也没有那些大牛执着的精神和水平，所以只能和大家分享后者 命令简述 top命令-是UNIN&&LINUX系统自带的系统管理工具。可以实时显示系统性能（负载、进程、运行时间）等多个指标。流行的网络教程是以交互式（实时）方式进行教学 ，实际上top还自带的强大的batch mode，来帮助你事半功倍。通常在交互式（实时）模式，只需要在shell下直接运行top即可，如下 交互式实模式与批处理模式 实时模式 好处是可以实时的观察系统状态，但是缺点也是明显 在不考虑使用第三方监控工具的情况下，如何记录（查看）历史数据？如何排除干扰只关注某项值？ 比如我需要知道在某段时刻，系统运行了多少个tasks，实时可见，但历史数据已流逝。 数据的排版再处理，也就是数据的二次加工。既然要加工，首先数据有持久化的存储。存储的数据转为输入--然后才能用你需要的逻辑调用处理，处理完成后再次输出。 这些可以通过批处理模式来处理。 top-批处理模式 在-SHELL下通过选项b来控制 -b : runs top in batch mode 批处理模式范例 1、导出一次的TOP输出 top -b -n 1 > top.txt cat top.txt 你会惊奇的发现top的内容居然可以输出到file 2、

流式大数据处理的三种框架：Storm，Spark和Samza 2017-06-01 Spark技术日报 本文来自CSDN博客，ID「秋夜无霜」 原文：http://blog.csdn.net/shichen2010/article/details/72758300 许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发射出的tuple是不可变数组，对应着固定的键值对。 Apache Spark Spark Streaming是核心Spark API的一个扩展，它并不会像Storm那样一次一个地处理数据流，而是在处理前按时间间隔预先将其切分为一段一段的批处理作业。Spark针对持续性数据流的抽象称为DStream

Spark流计算 概述 ⼀般流式计算会与批量计算相⽐较。在流式计算模型中，输⼊是持续的，可以认为在时间上是⽆界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是⽆界的。流式计算⼀般对实时性要求较⾼，同时⼀般是先定义⽬标计算，然后数据到来之后将计算逻辑应⽤于数据。同时为了提⾼计算效率，往往尽可能采⽤增量计算代替全量计算。批量处理模型中，⼀般先有全量数据集，然后定义计算逻辑，并将计算应⽤于全量数据。特点是全量计算，并且计算结果⼀次性全量输出。 ⽬前主流流处理框架：Kafka Streaming、Storm（JStrom）、Spark Streaming 、Flink（BLink） ①：Kafka Streaming:是⼀套基于Kafka-Streaming库的⼀套流计算⼯具jar包，具有⼊⻔⻔槛低，简单容易集成等特点。 ②：Apache Storm:⼀款纯粹的流计算引擎，能够达到每秒钟百万级别数据的低延迟处理框架。 ③：Spark Streaming：是构建在Spark 批处理之上⼀款流处理框架。与批处理不同的是，流处理计算的数据是⽆界数据流，输出也是持续的。Spark Streaming底层将Spark RDD Batch 拆分成 Macro RDDBatch实现类似流处理的功能。因此spark Streaming在微观上依旧是批处理框架

作为推送行业领导者，截止目前个推SDK累计安装覆盖量达100亿（含海外），接入应用超过43万，独立终端覆盖超过10亿 （含海外）。个推系统每天会产生大量的日志和数据，面临许多数据处理方面的挑战。 首先数据存储方面，个推每天产生10TB以上的数据，并且累积数据已在PB级别。其次，作为推送技术服务商，个推有很多来自客户和公司各部门的数据分析和统计需求，例如：消息推送和数据报表。虽然部分数据分析工作是离线模式，但开源数据处理系统稳定性并不很高，保障数据分析服务的高可用性也是一个挑战。另外，推送业务并不是单纯的消息下发，它需帮助客户通过数据分析把合适的内容在合适的场景送达给合适的人,这要求系统支持数据挖掘，并保证数据实时性。最后，个推要求快速响应数据分析需求。因此，个推大数据系统面临着数据存储、日志传输、日志分析处理、大量任务调度和管理、数据分析处理服务高可用、海量多维度报表和快速响应分析和取数需求等方面的挑战。 大数据系统演进之路 面临诸多挑战，个推大数据系统在逐步发展中不断完善。其发展可分为三个阶段。一是统计报表，即传统意义的BI；二是大数据系统的基础建设阶段；三是工具、服务和产品化。 个推大数据系统演进第一阶段：统计报表计算 早期由于数据处理无太复杂的需求，个推选择几台高性能的机器，把所有数据分别放在这些机器上计算。只需在机器上多进程运行PHP或Shell脚本即可完成处理和统计

批处理的基本用法 批处理时：先把事务设置为手动提交，然后尽量使用 Statement /* * 测试批处理的基本用法 * 对于大量的批处理，建议使用Statement，因为PreparedStatement的预编译空间有限当数据量特别大时，会发生异常。 * 批处理时先把事务设置为手动提交，然后尽量使用 Statement */ public class Demo05 { public static void main ( String [ ] args ) { Connection conn = null ; Statement stmt = null ; ResultSet rs = null ; try { // 加载驱动类 Class . forName ( "com.mysql.jdbc.Driver" ) ; // 建立连接(连接对象内部其实包含了Socket对象，是一个远程的连接。比较耗时！这是Connection对象管理的一个要点！) // 真正开发中，为了提高效率，都会使用连接池来管理连接对象！ conn = DriverManager . getConnection ( "jdbc:mysql://localhost:3306/testjdbc?useUnicode=true&characterEncoding=UTF-8" , "root" , "root" )

如何在一个CMD命令中调用其他多个CMD命令 可以使用 start 或者 call，不同之处在于： **一是调用范围不同:**CALL主要用来进行批处理的内部调用如CALL:PEND和一些DOS命令的调用如CALL SET TEST=2,但也可以调用其他可执行文件,而START则不能进行内部调用,但其可以执行基本上所有的外部程序,还可以执行SHELL,如打开文件夹START "" "%WINDIR%",安装网络打印机START "" "\IP\Printer",同时需要注意有无START调用外部程序的区别; **二是调用方式不同:**CALL实际上调用,所以在CALL另一个批处理时是在同一窗体进程里执行,而START是执行,所以在执行另外一个批处理时是在不同的窗体进程里执行,也就是说在新的进程里执行,虽然START可以加入B参数,但其结果却完全不同.如我们使用CALL SET TEST=2和START /B SET TEST=2看似执行的结果相同,但是我们发现后者有两个进程,而且在窗体里要执行两次EXIT才能退出,所以当我们使用START来执行一个批处理后最好在被调用的批处理中也加一个EXIT,否则无法退出被调用的批处理的DOS窗体,但是使用CALL调用时如果在被调用的批处理中存在EXIT则会直接结束原始和别调用的批处理程序,这是一个非常严重的问题,建议在被调用的程序中使用goto

[设置变量] 格式：set 变量名=变量值 详细：被设定的变量以%变量名%引用 [取消变量] 格式：set 变量名= 详细：取消后的变量若被引用%变量名%将为空 [展示变量] 格式：set 变量名 详细：展示以变量名开头的所有变量的值 [列出所有可用的变量] 格式：set [计算器] 格式：set /a 表达式 示例：set /a 1+2*3 输出 7 !注意! set不能用在复合语句里面比如if 1==1 set a=2或者for %%i in (a) do set a=2 预定义的变量 下面是些已经被底层定义好可以直接使用的变量：不会出现在 SET 显示的变量列表中 %CD% - 扩展到当前目录字符串。 %DATE% - 用跟 DATE 命令同样的格式扩展到当前日期。 %TIME% - 用跟 TIME 命令同样的格式扩展到当前时间。 %RANDOM% - 扩展到 0 和 32767 之间的任意十进制数字。 %ERRORLEVEL% - 扩展到当前 ERRORLEVEL 数值。 %CMDEXTVERSION% - 扩展到当前命令处理器扩展名版本号。 %CMDCMDLINE% - 扩展到调用命令处理器的原始命令行。 %0 bat的完整路径名如"C:\Windows\system32\xxx.bat" %1 bat参数1依次类推%2参数2... %path% - 当前的环境变量