Linkis

简介 Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能，高可用（去中心化多调度中心和多执行器）和多租户资源隔离等金融级特性；现已被集成到数据应用开发门户 DataSphere Studio 。 Schedulis 支持常规的 Command Shell 和 Linkis（HadoopMR、 Hive、Spark、Sqoop、 Python）大数据任务；同时还支持特色的数据检查和工作流之间的依赖任务；支持完善的告警和工作流执行策略；提供多种类型的参数设置，动态全局变量和简单易用的 UI。 与 DataSphere Studio 和 Linkis 的对接 DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度，而 Schedulis 也实现了 Linkis 插件，用于向 Linkis 提交任务，这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接，从而实现数据应用开发全流程的连贯顺滑用户体验。 与业界现有调度系统的比较 下面将 Schedulis 和业界现有的调度系统做了个对比，包括：Azkaban， Dolphin， Airflow 和 Xxl-job 模块 描述 Schedulis Azkaban Dolphin

11 月 16 日，Apache Kylin Meetup 即将走进北京！本次 Meetup 由 Apache Kylin 联合滴滴开源举办，邀请到来自滴滴、微众银行、一点资讯以及 Kyligence 等公司的技术专家为大家呈现 Kylin 与微众银行开源的大数据计算中间件 Linkis 的精彩应用案例与实践。感兴趣的小伙伴可以扫描文末二维码报名！ 活动议程 13：00-13：30 活动签到 13：30-14：10 Talk 1：《Kylin 引擎在滴滴的应用及实践》 14：10-14：50 Talk 2：《微众银行开源计算中间件 Linkis-助力 Kylin 强化连接层治理的探索》 14：50-15：10 茶歇 15：10-15：50 Talk 3：《Kylin 用户行为分析的原理和使用》 15：50-16：30 Talk 4：《Kylin 在一点资讯的实践》 16：30-17：00 会后交流与合影 演讲嘉宾 《Kylin 引擎在滴滴的应用及实践》 王小静 滴滴出行专家工程师 个人简介： 有多年数据中台相关产品的架构经验，曾负责滴滴大数据任务调度系统、数据资产、数梦底层调度执行引擎的架构和落地。目前为滴滴 Kylin 引擎负责人。 演讲摘要： Kylin 引擎在滴滴的应用和架构 滴滴全局字典构建最新版本（理论无论多少字典列，每列基数数十亿均可恒定在 15 分钟以内完成）