taskctl

前言 随着企业拥抱数字化程度的提高，数据是企业的发展关键。数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。 金融行业每天会进行交易相关的结算、清算、结息、对账等生产活动。这些活动都是通过一个个相互耦合的作业来实现的。因此需要一个作业调度平台来管理这些大量的作业。 随着金融行业新系统建设以及旧系统的更新、扩展，运维部门接手运维的应用系统越来越多，每天凌晨有数十个系统需要执行日切任务，近百万的批量作业需要执行，工作量非常繁重，如果有任务出错，很难及时排除故障，导致工作效率很低，影响数据的准确性和及时性。而开源软件、系统自带任务计划、传统批量调度工具逐渐无法满足业务对批量作业调度的需求。企业需要功能更强、性能更佳的国产化产品。 批量调度现状及诉求 目前，由于金融行业内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，企业内部几十上百个系统的批量作业调度混乱，难以管理。 调度原始落后 时至今日仍然有一些系统使用人工调度或操作系统的Crontab方式调度实现作业运行的自动化。这种方式容易引起依赖关系错误对业务构成威胁，当上游作业结束时间晚于下游作业，则会影响到作业执行的及时性和准确性。耗费人力、 容易出错、难以监控已成为这类系统的致命性问题。

什么是批量作业: 批量处理是银行业整个信息后台最为重要的技术形态，也是银行核心信息资产数据的分享、传输、演化的重要技术手段。有调查指出，全球70%的数据是经过批量处理得以再次使用，可见批量处理在整个信息生态中的技术占比与重要性。 银行业经过多年的信息化建设，逐步建立起几十甚至几百个信息系统，其中，绝大多数系统后台都具备有不同规模的作业批量处理，总体批量作业数已发展成几千到几万这样的一个庞大规模。随着大数据时代的到来，特别是在数据仓库、大数据平台的带动下，这样的规模还将快速发展，其批量作业数规模也必将产生数量级的增长变化。 银行面对如此多的系统、批量作业数以及可期的快速增长未来，让批量处理最为重要的技术-批量调度走向独立化、系统化、专业化以及平台化，是非常有必要的。批量调度不仅是批量处理的动力中枢，也是整个批量处理的管理入口，因此，建立一个规范专业的批量作业调度技术平台，建立一个统一的批量作业调度运维管理平台，不仅可以从架构层面优化企业整个后台批量体系，减少IT技术异构风险，为数据安全提供更可靠的技术保障，还可以加快具体系统构建速度，提升系统运维效率，降低运维风险。批量调度技术体系的专业化、平台化、统一化，不仅是一个系统建设，更是银行IT基础设施平台的建设，为银行整个IT建设健康高效发展提供坚实的基础。 目前主要实现方式: 目前，由于银行内部缺乏一款专业批量产品支撑

软件下载地址：去 公众号 "Taskctl" 关键字回复 "领取" 即可获得永久授权并使用 认识 Taskctl-web TASKCTL 遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合ETL 调度领域自身的特点，构建了一套直观易 用的 ETL 控制容器调度设计、监控 维护、管理平台 taskctl-web-application 。 功能架构 ​ 通过上图了解到，taskctl-web-application 是 TASKCTL 中客户端应用软件家族 的重要一员。 有三大功能模块： 平台管理（ Admin ）： 平台级配置信息管理。如网络节点管理，作业类型扩 展，工程管理，全局变量管理，调度元信息导入导出，用户及权限管理，消息接 口管理等。 作业设计（ Designer ） ：作业调度元信息设计。如作业控制容器（定时器 / 作 业流）的管理，作业关系、属性编辑，变量管理，作业组织模块管理等。 运行监控（ Monitor ） ：作业运行监控维护平台。对设计好的调度元信息进行 运行监控以及人工操作干预。对运行信息进行查询、统计、分析等。 系统特性 在 Windows 桌面客户端的基础上， TASKCTL 重新构建了一套基于 web 浏览 器的应用 taskctl-web-application 。 它具有如下特性： 功能完整：实现了桌面客户端 Admin,Designer

什么是调度系统 调度系统，更确切地说， 作业调度系统（Job Scheduler） 或者说 工作流调度系统（workflow Scheduler） 是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。 除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多，比较知名的比如： oozie，azkaban，chronos，zeus 等等，此外，还有包括 阿里的TBSchedule，SchedulerX ， 腾讯的Lhotse 以及我司历尽十年磨砺的 TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类定时类作业调度系统&DAG工作流类作业调度系统这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处； 定时类作业系统 定时类系统的方向，重点定位于大量并发的任务分片执行场景； 在实际应用场景中，通常平时维护工作需要定时执行的业务逻辑相对离散无序，仅仅存在一定的简单关联。 例如： 需要定时批量清理一批机器的磁盘空间， 需要定时生成一批商品清单， 需要定时批量对一批数据建索引， 需要定时对一批用户发送推送通知等等。 核心目标基本两点： 1. 作业分片逻辑支持： 将一个大的任务拆分成多个小任务分配到不同的服务器上执行， 难点在于要做到不漏，不重，保证负载平衡

摘要： 为了应对证券行业盘后批处理业务复杂度上升带来的批处理时间窗口逐步缩小和运维越来越困难的挑战，上交所技术积极拥抱开源技术，结合上交所批处理的生产经验教训，以零人工介入、自动化运维为目标，开发了一种跨平台、支持多种部署模式的任务调度系统。本文从上交所批处理系统面临的实际挑战出发，通过调研几类典型的批处理架构，选择以开源软件Spring cloud dataflow为基础，设计并研发了上交所批处理任务调度系统。目前，该系统已经在交易系统生产环境上平稳试运行半年有余，为该系统在上交所各技术系统的推广打下了坚实的基础。 关键字：（ 任务调度、批处理、Spring cloud dataflow、上交所技术 ） 背景和挑战 随着证券交易市场的快速发展，交易业务种类和待处理数据量也随之不断增加，核心应用系统的批处理业务越来越复杂。不同的批处理业务不但内部批处理单元相互依赖，而且与上下游对接系统的交互也越来越繁杂，导致留给批处理业务的处理时间窗口和应急时间窗口越来越小，这些都对新的批处理架构的高效性、高可用性和易维护性等方面提出了更高的要求。针对上交所批处理业务目前的实际情况，面临着如下问题和挑战。 首先是上交所各系统业务类型和数据量的增多对批处理架构的调度性能和功能提出了更多的要求。目前，上交所的核心交易盘后批处理业务类型越来越多，比如A/B股、综合业务、期权、沪港通等

前言： 美方： Control-M 中方： TASKCTL ETL调度工具中美PK ( TASKCTL VS Control-M) Control-M TaskCtl 而国内，在众多的软件中选择TASKCTL，我似乎没有任何犹豫。该软件虽然没什么名气，但它清新的界面、独特设计、用户体验让我印象太深刻。我想，假以时日，TASKCTL一定会有它的江湖地位。好了，赞美的话还是少说，评价技术要客观，我们还是站在客观的立场来一场中美PK! 先说说PK方法： 这两款软件都宣称企业级调度软件，我们就先从软件企业级特征方面PK，随后从软件功能点进行PK，最后，PK最关键的东东-用户体验！ 企业级特征体验PK 说实话，什么是调度的企业级特征，我无法定义， 但至少应该有以下几个方面：网络支撑能力、跨平台能力、稳定性、大规模数据支撑能力、数据集中管理、统一应用门户等。我姑且就从这几个方面比较。 1. 网络支撑能力，这主要由软件核心网络架构决定，这两款软件都分别通过EM节点、Server节点、代理节点并以多级的方式进行网络控制； 2. 跨平台能力，TASKCTL只支持unix\linux环境，而Control-M支持各种主流操作系统； 3. 稳定性，这个很无聊，但又不能回避。稳定性不是软件测试就可以搞定的，最终还需实际环境长久的考验。这方面，TASKCTL是不能和Control-M相比的。 4.

TASKCTL是成都塔斯克信息技术有限公司专为批量作业调度自动化打造的一款敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。TASKCTL通过将企业内部复杂的作业调度依赖关系，进行灵活的统一编排和管理，带来前所未有的简单性。TASKCTL采用全内存计算，基于全事件技术驱动，可简单、快速地对作业进行定义、编排和执行，并生成优化调度执行建议，从而负载均衡执行作业调度。 TASKCTL作为敏捷批量调度的开拓者，产品设计从一开始就专门为整洁的体验而设计，并提供丰富、直观的用户界面，以简化常见的作业调度执行编排流程。 TASKCTL产品功能架构图 强大的核心自动化调度能力 TASKCTL提供了强大的核心自动化调度能力。 ● 作业关系调度控制： 对作业（流）实现作业（流）的依赖关系调度、作业并行调度、作业间互斥调度。 ● 容错策略控制： 对作业（流）实现错误自动重做、错误自动忽略等控制 ● 计划排程： 支持自然日历排程、逻辑日历排程等设置。 ● 流程启动触发： 提供事件触发、文件触发、定时频度触发、自定义时间触发、自定义条件触发等控制。 ● 其他： 支持返回值控制、跳转控制、条件分支、参数控制、变量自动设置、作业输入输出传递、时间窗口控制、并发度控制、物理资源阀值控制、逻辑资源阀值控制、优先级控制、循环控制、断点续做、负载均衡调度。 丰富的应用及用户管理

什么是调度系统 调度系统，更确切地说， 作业调度系统（Job Scheduler） 或者说 工作流调度系统（workflow Scheduler） 是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。 除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多， 比较知名的比如：oozie，azkaban，chronos，zeus 等等，此外，还有 包括阿里的TBSchedule，SchedulerX ，腾讯的Lhotse以及我司历尽 十年磨砺的TASKCTL 作业系统的两大种类 现在市面上的调度系统根据功能性可以分为两类 定时类作业调度系统 & DAG工作流类作业调度系统 这两类系统的架构和功能实现通常存在很大的差异，下面就来跟大家普及一下这两种作业系统的不同之处； 定时类作业系统 定时类系统的方向，重点定位于大量并发的任务分片执行场景； 在实际应用场景中，通常平时维护工作需要定时执行的业务逻辑相对离散无序，仅仅存在一定的简单关联。 例如： 需要定时批量清理一批机器的磁盘空间， 需要定时生成一批商品清单， 需要定时批量对一批数据建索引， 需要定时对一批用户发送推送通知等等。 核心目标基本两点： 1.作业分片逻辑支持： 将一个大的任务拆分成多个小任务分配到不同的服务器上执行， 难点在于要做到不漏，不重，保证负载平衡

功能完整是基本，简单易用才是王道，这就是TASKCTL对敏捷的朴素定义。 功能少，怎么复杂也会简单；而功能体系完整，怎么简单也会复杂。因此，简单与复杂是相对的，而TASKCTL正是追求那种在功能完整不可避免复杂中的简单。 实际上，对很多软件、APP是否简单易用，是很难评定的。一方面，因人而已；另一方面，用了才知道。不过，TASKCTL给大家阐述的不是一种感知层面的简单，而是建立在一种技术理念突破创新基础上的简单。 要评估调度应用是否简单，首先就是要知道整个应用包含哪几大应用场景。作为批量调度应用，主要包括安装部署、作业与流程的设计、作业流程的运行监控管理以及系统级维护四大应用场景。接下来，我们就分析一下TASKCTL在这四大应用场景当中，简单了什么，靠什么来支撑它的简单。 （一）安装部署的简单 安装部署，是软件使用的第一步。我相信，TASKCTL一定能给你留下一个非常美好的初步映象。由于TASKCTL可能是业界唯一不采用数据库、以及任何第三方技术平台的专业调度软件。无论是面对服务节点安装、代理执行节点安装，还是面对代理执行节点分布式集群安装、服务高可靠主备安装，只需在每个安装节点上配置两个基本的环境变量（比如基本变量 export TASKCTLDIR=$HOME/taskctl）之后，接下来就是‘选择’、‘下一步’之类傻瓜化安装。按正常安装逻辑，每个节点安装过程不超过2分钟