郑昀 创建于2015/12/2 最后更新于2015/12/2
关键词:数据库,MySQL,自动化运维,AutoDDL,刷库,帐号授权,审核,回滚
iDB 是刘勤红部门推出的数据库自动化运维平台,它其实已经断断续续开发了几个月了,线上也跑了一段时间,最近又发布了新版本。版本迭代的主力是王晓华同学,李世杰也参与了一部分开发工作,曹富志和张永奎是需求方。
iDB 的主要目的是解决绝大部分重复、复杂的数据库运维工作 ,满足业务对数据库信息查询和快速变更需求,借此提升研发效率,保证数据库操作符合审计要求,有可追溯的变更和审核日志。
0x00,数据库自动化运维什么?别人家是怎么玩的?
当数据库越来越多时,比如按业务垂直分库了,10个,50个,100个……
当数据库关系越来越复杂时,比如 Cobar 水平拆库,从库分组,级联从库,合并库,比如某些索引要求只建在特定从库上……
DBA 的日常管理,手速再快,也不得不希望有系统来帮忙,毕竟数据库拓扑建立起来后,很多操作都可以自动化完成。
举个例子,工程上线前要开数据库访问帐号和权限。没有平台的话,那就得 DBA 一个一个去建,写库是 M 打头的帐号,读库是 S 打头的帐号,密码强度还得高。有了平台之后,DBA 只需要审核研发人员提的需求即可,系统自动化生成帐号密码,然后发邮件给申请人,或者将密码生成对称加密后的密文展示给申请人。
再比如,刷库。DBA 刷库之前为安全起见,都会先备份,然后刷库,一旦刷库有问题需要回滚数据,至少有东西恢复。有了平台之后,研发人员提刷库脚本,DBA 审核,并设定执行时间,系统会自动备份数据,一旦有问题,DBA 点击回滚按钮,系统自动将数据刷回去。
那么,别人家的数据库自动化运维平台都有什么特性呢?
我们先来看一下美团,它的数据库自动化运维包括如下内容:
图1 美团的功能点
可以看到,上图一些功能点如慢查,Processlist 等,我们是放在天机系统里的。
同样是 AutoDDL(建库、建表及更改表字段定义和属性)功能。
赶集的逻辑是:
图2 赶集的AutoDDL
美团的逻辑是:
图3 美团的AutoDDL
新浪则:
图4 新浪的AutoDDL
对于线上数据订正(即刷库)功能。
图5 赶集的订正逻辑
对于线上数据查询功能。
阿里的 iDB 界面如下所示:
图6 阿里iDB的线上数据查询
对于备份还原功能。
图7 阿里iDB的备份管理
还有人把数据库监控和报警做到这种系统里了。
图8 新浪的数据库监控
大致如此,各个公司八仙过海各显其能,DBA 和研发运维的生产力大大提升。
0x01,我们打算做哪些特性?
我们的 iDB 有如下特性:
- 已经上线的:
- 线上帐号申请、审核和管理
- 线上数据查询
- 线上数据订正
- AutoDDL
- 着手在做的:
- 自动识别数据库拓扑关系(记得吗,我们在天机系统里曾经做过)
- 新建数据库实例
- 备份管理
- ……
0x02,我们的 iDB
首先,iDB 的用户角色分为研发人员和 DBA。首页会有一个任务导航,如下图所示:
图9 云纵iDB首页-工程师的任务看板
我作为 Engineer,登录 idcenter,跳到 iDB 后,可以:
发起订正申请,个人帐号申请,工程帐号申请,DDL 申请,
还可以:
线上数据查询。
我如果是 DBA,任务看板就变为:
图10 云纵iDB首页-DBA任务看板
相对 Engineer,增加了:
订正审核,帐号审核,DDL 审核,数据库组管理,任务管理等。
简单介绍这么多,以后再介绍一些更高级的特性。再次感谢王晓华、刘勤红、曹富志、张永奎和李世杰!
来源:oschina
链接:https://my.oschina.net/u/815999/blog/540857