任务调度

【推荐阅读】微服务还能火多久？>>> .net大型分布式电子商务架构说明 背景 构建具备高可用，高扩展性，高性能，能承载高并发，大流量的分布式电子商务平台，支持用户，订单，采购，物流，配送，财务等多个项目的协作，便于后续运营报表，分析，便于运维及监控。 架构演变 基础框架剥离 -> 分库分表 -> 基础服务建设 -> 私有云建设 -> 分布式操作系统 基础框架 整个公司无论有多少项目，需要沉淀最基础的框架，里面一般包含核心的分库分表规则，统一的数据库操作类库，统一的通讯类，统一的日志类，统一的加密算法，统一的基础服务 sdk ，公用的一些工具类等等。该框架用于定义最基础的公司架构，设计，统一最基础的技术及项目架构规范，拦截及监控最基础的核心调用等。框架命名一般比较简单，如京东，可以定义为 jdf ；淘宝，可以定义为 tbf 。 分库分表 分库分表为最常规的架构拆分方案。一般会从业务角度进行不同视角的拆分，如用户视角和商户视角。当然前提也需要业务方面或者其他技术力量的支持，不出现或者解决拆分后跨多个分库或者分表的表查询及查询结果合并问题。分库分表前也通过需要预估容量，预估性能。分库分表也经常会遇到全局 id ，或者分布式 id 自增且唯一的问题，这些都要预先在设计和架构层面要充分考虑。 用户视角如图所示 商户视角如图所示 基础服务 基础服务是系统分布式的一个核心

1 定时任务的框架 Quartz：整合了Spring SpringTask：轻量 SpringBoot整合SpringTask：两行代码即可搞定 1.1.说说定时任务的应用场景 1. 月底扣话费 2. 会员到期 3. 生日祝福 4. qq好友生日祝福 5. 月底的自动发邮件给领导, 统计这个月的数据 6. 等等等 2.SpringBoot整合SpringTask任务调度框架的使用 2.1 注解 采用SpringBoot整合SpringTask不需要额外导包 @EnableScheduling：开启对定时任务的支持，添加在启动类上 @Scheduled(cron="*/6 * * * * ?")：执行的方法上添加，标识方法何时被执行,注意是有空格,后面详细解释 2.2 启动类启用定时任务调度 在启动类上加@EnableScheduling即可开启定时，当项目中有多个执行任务的时候，只需要开启一次 @SpringBootApplication @EnableScheduling public class SpringTaskDemoApplication { publi static void main(String[] args){ SpringApplication.run(SpringTaskDemoApplication.class,args); } } 2.3

分布式定时任务调度中心 - 简书 https://www.jianshu.com/p/2dc8110050be 来源： https://www.cnblogs.com/rgqancy/p/12573889.html

今天我带大家认识一下Quartz 一、认识 Quartz 框架 Quartz 是 OpenSymphony 开源组织的一个 Java 开源项目， 在 2009 被 Terracotta 收购。Quartz 是一个任务 调度框架，比如你遇到这样的问题： 1、每月10自动还花呗 2、每隔一小时备份一下自己的学习笔记到云盘 3、每隔半小时，扫描订单信息等等 总结起来就是：在某一个有规律的时间点干某件事。并且事件的触发条件可以非常复杂（比如每月 最后一个工作日的 17:50），复杂到需要一个专门的框架来干这个事。 Quartz 就是来干这样的事，你给它一个 触发条件的定义，它负责到了时间点，触发相应的 Job(任务)起来干活 Quartz 是开源任务调度框架中的翘首，它提供了强大任务调度机制，难能可贵的是它同时保持了使用的简 单性。Quartz 允许开发人员灵活地定义触发器的调度时间表，并可以对触发器和任务进行关联映射 总结一下Quartz框架的特点： 1、强大的调度功能，例如支持多样的调度方式 2、灵活的应用方式，例如支持任务和调度的多种组合方式 3、分布式和集群功能，Terracotta 在收购后，对原来功能作了进一步提升 有关调度的三个主要的概念： 1、调度器 ：Quartz 框架的核心是调度器。调度器负责管理 Quartz 应用 运行时环境。调度器不是靠自己做 所有的工作

本文首发于 vivo互联网技术 微信公众号 链接： https://mp.weixin.qq.com/s/l4vuYpNRjKxQRkRTDhyg2Q 作者：陈王荣 分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。 一、业务背景 1.1 为什么需要使用定时任务调度 （1）时间驱动处理场景： 整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。 （2）批量处理数据： 按月批量统计报表数据，批量更新短信状态，实时性要求不高。 （3）异步执行解耦： 活动状态刷新，异步执行离线查询，与内部逻辑解耦。 1.2 使用需求和痛点 （1）任务执行监控告警能力。 （2）任务可灵活动态配置，无需重启。 （3）业务透明，低耦合，配置精简，开发方便。 （4）易测试。 （5）高可用，无单点故障。 （6）任务不可重复执行，防止逻辑异常。 （7）大任务的分发并行处理能力。 二、开源框架实践与探索 2.1 Java 原生 Timer 和ScheduledExecutorService 2.1.1 Timer使用 Timer缺陷： Timer底层是使用单线程来处理多个Timer任务，这意味着所有任务实际上都是串行执行，前一个任务的延迟会影响到之后的任务的执行。

uCOSiii 一个任务由三部分组成 ①任务控制块 ：任务控制块os_tcb是一个比较复杂结构体,它用来保存任务的信息。在使用OSTaskCreate()时会创建任务时会分配一个任务控制块给任务。 ②任务堆栈 ：每个任务都有任务堆栈CPU_STK，在进行任务切换时用来保存现场也就是将当前任务的状态和变量保存在自身的任务堆栈中，等到下次切换回来时，再将任务堆栈的内容取出。 ③任务函数 ：也就是自己写应用程序。 uCOSiii 有五种任务状态 ： ①休眠态 ：还未用OSTaskCreate()创建任务时的状态，也就是一段未执行的代码。 ②就绪态 ：已经记录在就绪表中的状态，等待获得cpu使用权 ③运行态 ：正在运行的任务状态 ④等待态 ：正在运行的任务为了等待内核对象比如信号量，消息暂时让出cpu使用权进入等待态，直到内核对象到达就会重新进入就绪态 ⑤中断服务态 ：运行的任务被中断打断，cpu去执行中断，任务就挂起进入中断服务态。 任务就绪表由就绪任务列表跟优先级位映射表组成： **优先级位映射表：**简单地说就是用一个8或者16或者32位的数据的每一位代表一个优先级，某优先级下有就绪任务就会将相应的位置1 。OSPrioTbl[MAX]代表有多个32位组成的优先级位映射表；通过OS_PrioGetHighest()来获得优先级位映射表中最高优先级的任务。 就绪任务列表： struct

设置个人任务调度 每小时每分钟把etc的详细信息追加到tmp下的to.txt文件（没有to就创建） 保存退出后。创建成功 案例1 1.创建mytask1脚本 2.写入内容（时间追加到mydate文件中） 3.发现缺少可执行权限（可执行系统才能调用） 4.添加执行权限 5.变绿就有执行权了 6.编辑定时任务 7.文件内容 每隔一分钟执行这个文件（*任何时候） 8.成功 案例2 来源： https://www.cnblogs.com/rijiyuelei/p/12394948.html

目前项目采用nginx+tomcat来做负载均衡，缺少一个分布式任务调度配置。任务调度在整个系统中是单点故障。为了解决这个问题，研究了一下zookeeper和redis。大家一致的解决方案是用分布式锁。通过zookeeper或者redis来构建一个锁实现。所有系统节点都能获取到这个锁的状态，作为一个共享锁，为系统调度提供分布式部署。 因为我的系统架构是spring架构。为了减少代码对系统的侵入，扩展spring的任务调度。将分布式任务调度机制写入自定义任务调度中。 <task:scheduled-tasks scheduler="zkScheduleManager"> <task:scheduled ref="taskObj" method="print" fixed-rate="5000"/> </task:scheduled-tasks> zkScheduleManager继承spring的 org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler; 在各个调度方法中写入分布式任务调度机制。 代码量比较大，下边说一下思路，后续把代码补上。 zookeeper维护server task两个文件夹。server存放连接的节点，task存放注册的任务 为了防止羊群效应每个服务器上维护一个EPHEMERAL

y = OSUnMapTbl[OSRdyGrp]; 　　SPrioHighRdy = (INT8U)((y << 3) + OSUnMapTbl[OSRdyTbl[y]]); 　　μC/OS的任务调度算法采用了以空间换时间的策略，将特定字节值的最低位1所在位的信息预先计算并保存到表中，运行时通过查表快速得到;每个任务的TCB中除了保存优先级信息本身外，还使用额外的4个字节保存优先级的高低3位和对应的OSUnMapTbl值，以避免运行时实时计算这几个值所带来的延迟。这些措施增加了系统ROM和RAM的开销。 　　3 利用 PowerPC “数出前导零数目”指令实现任务调度 　　PowerPC是Motorola 、IBM和Apple三家公司于20世纪90年代初期联合设计的32位CPU。Freescale(其前身是Motorola半导体部)发展了针对汽车电子的MPC5xx系列单片机及后续基于e200内核的MPC5xxx系列单片机;更高端的e500、e600内核是用于通信领域的MPC6xxx、7xxx和8xxx系列。 　　下面对μC/OS任务优先级调度算法的改进和优化是在MPC5554单片机上实现的。 　　PowerPC处理器具有一条“数出前导零数目” 的指令cntlzw(count leading zero word)，可以以硬件指令方式实现优先级的多任务调度算法

分布式调度平台 xxl-job 个人改进（灌水）思路 本人 刚入门 后端开发， 错误之处请批评指正 被导师安排的🌚 本人于2019年9月6日与同事进行的分享 1 xxl-job 是什么 1.1 xxl-job 是什么 轻量级、易扩展的分布式任务调度框架 通过Cron表达式配置计划任务 0 0/30 9-18 ? * MON-FRI 朝九晚六每半个小时执行 支持多语言（Java、Shell、Python、NodeJS、PHP、PowerShell 等，需要执行器部署环境支持），任务逻辑可在 Web 界面编写代码，或在执行器编写代码 1.2 常见任务调度框架 Quartz Java 常用计划任务框架，虽然 Quartz 可以基于数据库实现作业的高可用，但分布式并行调度方面有所欠缺。 elastic-job 当当开发的弹性分布式任务调度系统，功能丰富强大，采用 zookeeper 实现分布式协调，实现任务高可用以及分片。 xxl-job 是大众点评员工徐雪里于2015年发布的分布式任务调度平台，是一个轻量级分布式任务调度框架，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。 1.3 xxl-job 与 elastic-job 怎么选 xxl-job 核心设计目标是开发迅速、学习简单、轻量级、易扩展 登记在用公司数>228家 开箱即用 持续更新，社区活跃、文档齐全 elastic