AliSQL

阿里云数据库李飞飞:云计算推动数据库向云原生快速演进

試著忘記壹切 提交于 2020-12-31 03:58:55
12月30日,阿里云云原生数据库PolarDB举行年度发布。过去的一年是阿里云数据库硕果累累的一年。11月,Gartner公布阿里云进入全球数据库领导者象限,是国产数据库几十年积累的重大突破;12月,中国电子学会公布PolarDB获得科学技术奖一等奖。阿里云数据库深耕11年,至今已服务客户10万余。 阿里巴巴集团副总裁、阿里云智能数据库事业部总裁李飞飞表示,云计算正在推动数据库向云原生快速演进,阿里云数据库已全面布局云原生。 关键词:深耕11年10万余客户 2020年11月,“完美日记“上市了。迅速崛起的“完美日记”,从2017年的全新品牌,到如今的 “国货之光”,成为今年创投圈的现象级案例。 快速的业务发展背后,是高压力的系统挑战。“完美日记”找到了阿里云数据库。阿里云服务天猫“双11”多个年头,已具备丰富的应对大流量经验。 2020年4月,“完美日记”三周年大促,最后一天压测,订单系统下单速度达到1万笔/每秒,对应PolarDB数据库的写入速度10万TPS,比半年前的系统吞吐提升了50倍。在4月14日活动当天,抢购开始瞬间系统涌进了几百万用户。每秒成交的订单数创历史新高,订单峰值比历史最高峰值再次提高了几倍,高峰业务流量比半年前提高了50倍。 “完美日记”只是阿里云数据库的一个案例,是阿里云数据库11年以来,服务的10万多客户中的其中一个。 阿里云数据库始于2009年。

2020双11,阿里巴巴集团数万数据库系统全面上云揭秘

一曲冷凌霜 提交于 2020-11-28 10:01:14
作者:阿里云高级技术专家 改天 阿里云高级产品专家 胜通 2020年天猫双十一成交额突破4982亿,在双十一走过12个年头之际,我们的订单创建峰值达到58.3万笔/秒,再次刷新全球在线交易系统的记录。历年双十一都是对技术人的一次大考,峰值的丝般润滑体验是大家一致的追求,而数据库可谓关键。多年双十一大促“磨练”出阿里巴巴DBA一整套技能来应对大考,比方说全链路压测、容灾预案、实时限流等,同时阿里的数据库产品能力也大幅提升,如智能化的企业级MySQL内核AliSQL,自研PolarDB引擎等,这些硬核能力是阿里巴巴集团数据库团队应对大考的底气。 在数据库引擎技术能力不断攀登高峰的同时,长期以来我们“似乎忽略”一个非常重要的因素,而该因素却是中大型企业上云的必须考量点。如果将时钟指针拨回到半年前,这个重要因素就摆在眼前,是阿里巴巴集团所有的数据库系统全面上云及云原生化过不去的“坎”,它是什么呢? 一、阿里集团数据库全面上云的挑战 当DBA维护的系统上百套甚至上万套以后,系统管理的复杂度就会急剧上升,加上资源利用效率、业务高峰支持(如大促活动评估)、流量管理等上级或业务方“强加给”DBA的工作后,整个系统复杂度就会居高不下,这种复杂度“熵”就会指数级增长,并且无法通过扩充DBA人数来有效解决问题,DBA自身也会陷入到繁杂的日常支持和“灭火”中,自身价值难以体现,这就是深坎。

MariaDB10.3 增补AliSQL补丁---安全执行Online DDL

落花浮王杯 提交于 2020-08-10 09:05:40
Online DDL 从名字上看很容易误导新手,以为不论什么情况,修改表结构都不会锁表,理想很丰满,现实很骨感,注意这个坑! 有以下两种情况执行DDL操作会锁表的,Waiting for table metadata lock(元数据表锁) 1、 增加、删除字段或索引不会锁全表,删除主键、更改字段属性会锁全表 ,见下图所示: 2、 在添加字段 alter table 表时,对该表的增、删、改、查均不会锁表。而在这之前,该表有被访问时,需要等其执行完毕后,才可以执行 alter table , 例如在会话一,故意执行一条大结果的查询,然后在会话二执行增加字段 age ,此时还会出现表锁 ,如下图所示: 针对第二种情况,MariaDB10.3 增补AliSQL补丁-DDL FAST FAIL,让其DDL操作快速失败。 语法为: ALTER TABLE tbl_name [WAIT n|NOWAIT] ... CREATE ... INDEX ON tbl_name (index_col_name, ...) [WAIT n|NOWAIT] ... DROP INDEX ... [WAIT n|NOWAIT] DROP TABLE tbl_name [WAIT n|NOWAIT] ... LOCK TABLE ... [WAIT n|NOWAIT] OPTIMIZE TABLE tbl

一个秒杀系统的设计思考

依然范特西╮ 提交于 2020-04-27 16:26:14
前言 秒杀大家都不陌生。自2011年首次出现以来,无论是双十一购物还是 12306 抢票,秒杀场景已随处可见。简单来说,秒杀就是在同一时刻大量请求争抢购买同一商品并完成交易的过程。从架构视角来看,秒杀系统本质是一个高性能、高一致、高可用的三高系统。而打造并维护一个超大流量的秒杀系统需要进行哪些关注,就是本文讨论的话题。 整体思考 1 秒杀存在的问题 对于一个日常平稳的业务系统,如果直接开通秒杀功能的话,往往会出现很多问题—— 干系人 问题分类 业务出现的问题 设计要求 用户 体验较差 秒杀开始,系统瞬间承受平时数十倍甚至上百倍的流量,直接宕掉 高性能 用户下单后却付不了款,显示商品已经被其他人买走了 一致性 商家 商品超卖 100 件商品,却出现 200 人下单成功,成功下单买到商品的人数远远超过活动商品数量的上限 一致性 资金受损 竞争对手通过恶意下单的方式将活动商品全部下单,导致库存清零,商家无法正常售卖 高可用 秒杀器猖獗,黄牛通过秒杀器扫货,商家无法达到营销目的 高可用 平台 风险不可控 系统的其它与秒杀活动不相关的模块变得异常缓慢,业务影响面扩散 高可用 拖垮网站 在线人数创新高,核心链路涉及的上下游服务从前到后都在告警 高性能 库存只有一份,所有请求集中读写同一个数据,DB 出现单点 高性能 2 设计方向的思考 秒杀本质是要求一个瞬时高发下的承压系统

十年磨一剑,阿里云RDS MySQL和AWS RDS谁的性能更胜一筹?

旧巷老猫 提交于 2020-04-14 08:45:05
【今日推荐】:为什么一到面试就懵逼!>>> MySQL代表了开源数据库的快速发展。 从2004年前后的Wiki、WordPress等轻量级Web 2.0应用起步,到2010年阿里巴巴在电商及支付场景大规模使用MySQL数据库,再到2012年开始阿里云RDS for MySQL为成千上万家客户提供可靠的关系数据库服务,阿里云RDS积累了来自内外部功能、性能、安全方面的众多需求,打造了面向企业场景的AliSQL分支,包含了丰富企业级数据库特性: DynamicThreadPool(DTP) :在内核中动态管理数据库线程池,通过有限资源持续支撑大量创建数据库连接请求,维持高效稳定的请求处理能力。 IndexMutexTuning(IMT) :通过IMT优化大大降低索引节点分裂成本,大大提升类TPCC场景处理能力,在全内存的测试中,单机达到了39W的TpmC,相对于原生版本提升35-50%不等。 TDE&SM4: 全新优化的TDE数据加密,并且支持国产加密算法SM4。 PerformanceInsight :针对数据库SQL性能扩展多方面信息,包括表统计信息、索引统计信息、SQL单次性能数据、IO统计信息和关键性能数据输出等。 AsyncFilePurge :优化大表删除,有效降低系统IO抖动影响。 SlowLogRotate: 对慢日志设计切换机制,可有效降低大量慢日志造成的不稳定影响。

阿里十年DBA经验产品经理:真的不要再有一起删库跑路事件了

ぃ、小莉子 提交于 2020-03-24 13:51:46
3 月,跳不动了?>>> 最近网上又出一起删库跑路事件,本不想过多写此类事件文字,但从业13年,十年DBA工作经验,职业素养还是驱使自己写点内容,以期能够帮助广大企业客户。 本文主要以数据库产品从业者角度,介绍帮助企业减少意外或有意对数据库删数据的破坏行为,关于数据安全的其他内容如加密等不做过多描述。为了阐述方便,会引入一些RDS功能介绍。 ###子账号体系 针对数据被删除的场景,从“大”到“小”都需要防护,包含实例、数据库、表、记录行。尤其是最大的数据单位,数据库实例,是需要特别保护的,否则删除一个实例破坏性实在太大了,而且就目前所知这个破坏性是比较彻底的,假设没有做任何额外备份保护,删除实例后再恢复是完全没有这种可能。 阿里云针对这种实例级保护,主要是通过主子账号体系来实现的,主账号创建数据库实例,然后通过子账号授权DBA等管理人员维护数据库实例。针对按量实例,在删除实例的时候会收到短信验证码,保障每次删除都是正确的;针对包年包月实例,在实例到期前就会有短信通知续费,到期后会锁定7天,期间可随时恢复,7天后实例释放但会将最新全备文件放入回收站保留8天,因此在实例到期后客户依旧有15天时间来恢复数据。此外由于本次疫情,阿里云针对所有RDS包月实例到期时间都做了延期锁定动作,保障在疫情期间因为延迟上班导致的延期交费实例不被锁定。 前面提到我们删除实例的破坏性是比较彻底的

阿里巴巴73款开源产品全向图

霸气de小男生 提交于 2020-03-21 11:40:56
3 月,跳不动了?>>> 一、框架 react-web: Readt Web是为那些使用React Native兼容的API构建的Web应用而提供的一个框架。React Web的目的及意义非常明确: 让React Native代码跑在Web上让一套代码运行在各个移动终端,对前端及业务来说,这是开发效率中一个质的提升。 Jstrom: "JStorm是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。经过4年发展,阿里巴巴JStorm集群已经成为世界上最大的集群之一,基于JStorm的应用数量超过1000个。数据显示,JStorm集群每天处理的消息数量达到1.5PB。 在2015年,JStorm正式成为Apache Storm里的子项目。JStorm将在 Apache Storm里孵化,孵化成功后会成为Apache Storm主干。 Apache基金会官方表示,非常高兴JStorm能够成为Apache Storm社区的一员。" Dubbo: 高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成。Dubbo is a distributed, high performance RPC framework enpowering applications with

防删库实用指南 | 只需一步,快速召回被误删的表

喜欢而已 提交于 2020-03-20 16:04:09
3 月,跳不动了?>>> 数据库的一些非常不错的企业级功能都是“养兵千日,用兵一时”,比如Oracle 10g中的回收站(Recycle Bin)功能,可以在特殊情况下发挥特种兵的功能,比如当你删除一个表空间、一个用户(Schema)时,可能会删除很多的表,包括你不想删除的一些表。 这种例子还是很多的,早些年很多的DBA使用图形工具来访问数据库,所连接的用户权限又比较高,当查询大量数据引起图形工具短暂失去响应时,很容易多打几下键盘或者多点几下鼠标,等到图形工具响应过来,发现些表或某些用户已经不见了。 前面讲的是无心之过,还可以看到一些有心的恶意操作,比如因员工和公司的关系不够友善引起的破坏性操作。这时就可以检查一下Oracle数据库回收站中是否还有被删除的表。 AliSQL是阿里云RDS MySQL团队精心打造的一个分支,在性能、功能、稳定性上都有极大的提升和突破。在2019年12月份发布的版本中也带了Recycle Bin功能,只需要设置一个参数就可以开启: mysql> set global recycle_bin=on; Query OK, 0 rows affected (0.00 sec) mysql> show global variables like 'recycle_bin'; +---------------+-------+ | Variable_name |

干货,阿里最新技术资料超级分享,绝对不能错过!

こ雲淡風輕ζ 提交于 2020-03-19 16:48:19
3 月,跳不动了?>>> 【推荐】2020年最新Java电子书集合.pdf(吐血整理) >>> 引言 作为国内互联网技术的典型代表,阿里巴巴的技术一直备受着大家的关注。能进入阿里工作,是很多开发者们的目标与梦想。2017年,在技术发展的历史上,一定是个特别的一年:柯洁与AlphaGo的惊世大战,无人咖啡店开放体验,AI设计师“鲁班”横空出世、三年投入千亿的达摩院正式成立…… 下面这套精选集覆盖多个热门技术领域:算法、机器学习、大数据、数据库、中间件、运维、安全、移动开发等,文章内容涉及技术架构、核心算法、解决方案等干货。无论你是计算机相关专业的在校学生、科研机构的 研究人员,还是步入社会的IT从业人员,相信都能从中受益。 资料大纲 部分资料截图 AliSQL开源功能特性 ARouter介绍与最佳实践 BeeHive, i0S大型项目解耦方案 Docker技术趋势解读. React技术栈在蚂蚁金服的实践 阿里云大数据技术开发 阿里云数加大事记 阿里巴巴Java开发手册 来源: oschina 链接: https://my.oschina.net/u/4441013/blog/3198195

【转帖】阿里巴巴的JAVA项目

拥有回忆 提交于 2020-01-26 00:58:30
作者:程序员小黄 链接:https://www.zhihu.com/question/352924285/answer/971851263 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 java领域技术最好算阿里巴巴, 他可以的java项目非常多。 一、框架 react-web: Readt Web是为那些使用React Native兼容的API构建的Web应用而提供的一个框架。React Web的目的及意义非常明确: 让React Native代码跑在Web上让一套代码运行在各个移动终端,对前端及业务来说,这是开发效率中一个质的提升。 Jstrom: JStorm是参考storm的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。经过4年发展,阿里巴巴JStorm集群已经成为世界上最大的集群之一,基于JStorm的应用数量超过1000个。数据显示,JStorm集群每天处理的消息数量达到1.5PB。 在2015年,JStorm正式成为Apache Storm里的子项目。JStorm将在 Apache Storm里孵化,孵化成功后会成为Apache Storm主干。 Apache基金会官方表示,非常高兴JStorm能够成为Apache Storm社区的一员。 Dubbo: 高性能优秀的服务框架