摘要:一站式开源大数据平台套件WeDataSphere第2期线上 Meetup
7月9日 第2期WeDataSphere线上 Meetup将与大家见面,Linkis项目负责人暨微众银行大数据平台负责人,以及三位社区committer天翼云大数据平台负责人、艾佳生活架构师、MobTech大数据平台专家将做客直播间,同大家分享计算中间件Linkis 在各家公司的精彩应用案例与生产实践,以及Linkis 1.0.0最新版本的Roadmap和架构设计思路,并带来WeDataSphere大数据平台套件的最新开源进展和相关规划。
欢迎大家一起参与到WeDataSphere开源项目中来,我们欢迎在github、gitee以及社群里任何形式的互动与贡献,期待你的加入!
欢迎扫码入群交流,直播地址也将在开播前发送到WeDataSphere社区用户群,敬请关注。
议程
19:00-19:25 Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍
19:30-19:55 Linkis在中国电信的实践与展望
20:00-20:25 Linkis on K8S
20:30-20:55 借力 Linkis 完善 MobTech 大数据开发平台
20:55-21:10 WeDataSphere社区用户问答
嘉宾及议题介绍
Linkis 1.0.0架构设计思路和WeDataSphere后继开源规划介绍
邸帅 微众银行大数据平台负责人
Linkis在中国电信的实践与展望
议题介绍:首先将回顾,复杂分布式架构环境下,上层应用和底层计算存储引擎紧耦合直连模式所带来的计算治理问题,及计算中间件Linkis 0.X版本如何应对解决;
然后解析基于对计算治理问题的深挖思考,和广大社区用户使用实践反馈,Linkis 1.0对核心处理流程和模块的梳理优化,及对更丰富强大计算治理功能需求的设计实现思路;
最后展望基于全新的1.0架构,Linkis未来对更全品类计算存储场景的支持覆盖能力建设,及对路由、高可用、HTAP、跨引擎混算等复杂痛点问题的解决思路。
王小刚 中国电信天翼云大数据平台负责人
议题介绍:电信拥有海量的数据宝藏,如何管理好这些宝藏,保证系统和安全性和易用性,并发挥好它的价值,是一个值得挑战的难题。我们选择了开放优秀的Linkis,基于Linkis构建大数据开发与服务平台,做相应配和加强。本次简述电信对Linkis的使用,基于Hadoop3的适配,一些组件的整合,正在做的引擎启动慢优化思路,以及未来展望。希望能跟Linkis一起成长,积极响应国家新基建战略号召,为国家新基建的建设尽一份力量。
Linkis on K8S
张荣 艾佳生活架构师
议题介绍:艾佳生活基于云原生12要素,在linkis基础上发布linkis on k8s,分支dev-0.13.0。Linkis docker镜像作为制品发布,可以省去每个人排包,编译过程基于cgroup隔离可以保证每个linkis微服务不会由于超卖而影响其他linkis微服务,做到cpu,mem,io,disk的隔离。
k8s会自动去监控linkis微服务,然后重启、新建;总之,让linkis每个微服务一直提供服务。k8s提供滚动发布,弹性伸缩,故障迁移,保证linkis高SLA,满足业务7*24使用。
借力 Linkis 完善 MobTech 大数据开发平台
王震 MobTech大数据平台专家工程师
议题介绍:数据开发流程繁琐,现有平台各个系统相对独立,加大了大数据任务的开发和维护的成本。如何打造一个一站式数据开发平台,打通现有系统,简化数据开发流程?本次演讲将分享 MobTech 团队如何基于 Scriptis 和 Linkis 搭建数据开发平台,打通大数据任务的开发、发布调度的流程。在使用 Linkis 的过程中 MobTech 团队也成为了社区重要的合作伙伴之一,主导了 0.11.0 版本的发布,这次分享将会介绍 0.11.0 版本添加的主要功能。
来源:oschina
链接:https://my.oschina.net/u/2663968/blog/4336312