云数据库

毕玄:阿里十年,从分布式到云时代的架构演进之路

不想你离开。 提交于 2020-01-01 14:06:23
2018 年 12 月 25 日,在 TGO 鲲鹏会杭州分会「E 家宴」的现场,阿里巴巴系统软件、中间件、研发效能负责人毕玄做了《云时代的软件架构》分享,本文根据其演讲整理而成,有部分删节。TGO 鲲鹏会公众号(ID:tgo-kunpenghui)授权 InfoQ 转载。1奠定阿里五年业务快速发展基础的架构改造 阿里经历了几次较大的软件架构迭代,首先是分布式时代的阿里电商架构。淘宝从 2007 年开始做新一轮架构改造,淘宝从 2007 年开始碰到的最大的问题,即访问量增长太快,导致出现了一个问题:不能加机器了,即伸缩性的问题。淘宝在业务发展过程中,2008 年以前所有的解决方案就是简单加机器就能解决,但是到 2007 年突然出现加不了,那时候淘宝数据库用的是中国最好的 IBM 的小型机。 以前数据库连接我们用 Oracle,Oracle 数据库最大的问题是每个链接消耗的内存特别大。因为内存始终有瓶颈,所以当我们内存、数据库连接不够的时候,我们的解决办法是多插内存条,后来内存条插满了,就没有办法了。所以 2007 年淘宝判断必须做新一轮的架构改造,让我们具备水平伸缩能力。 大家现在都知道一个思路,既然一个系统加不了机器,数据库抗不住,那就把一个数据库拆成两个数据库,把访问数据库的业务尽可能集中。以交易为例,以前是所有的 web 应用都要访问的,如果你把交易逻辑抽象出来

腾讯云认证云从业者考试系列 腾讯云从业者认证考试内容、范围、学习资料

可紊 提交于 2019-12-30 01:49:53
本文列举腾讯云从业者认证的 考试范围、知识点、分数比例、教程学习地址、一些官方资料文档 。 目录 1,考核要求、知识点分布 2,课程大纲、分数值比例 3,学习路线 4,学习帮助 5,学习资源导航 6,腾讯云从业者认证 资料共享、例题分析、习题实战 考核要求 了解云计算相关的基本概念,理解云计算对业务的影响。 理解腾讯云提供的基础产品和服务的功能:云服务器,云网络,云CDN,云存储,云数据库,云安全。 了解腾讯云提供的基础产品和服务的灵活应用场景。 理解腾讯云提供的基础产品和服务的优势。 理解腾讯云基础产品和服务的计费方式。 知识点 腾讯云从业者培训课程涵盖以下内容: 知识模块 简介 云计算基础知识 云计算的发展历史和关键技术、云计算对业务的影响、业界主流云产品以及腾讯云产品概览。 云服务器产品解析 产品特性、腾讯云服务器优势和计费方案。 云网络产品解析 产品功能、腾讯云网络产品优势、使用场景和计费方案。 云CDN加速产品解析 产品功能、腾讯云CDN产品优势、使用场景和计费方案。 云存储产品解析 与传统存储的优势对比,腾讯云各类云存储使用场景和计费方案。 云数据库产品解析 产品功能,云数据库与传统数据库的优势对比,腾讯云各类云数据库产品使用场景和计费方案。 公有云安全解析 互联网常见安全威胁,腾讯云主流安全产品功能,适用场景,优势对比和计费方案。 考试相关 预备技能 l

MongoDB 4.2新特性:分布式事务、字段级加密、通配符索引、物化视图

徘徊边缘 提交于 2019-12-29 21:58:04
MongoDB 4.2已经发布,我们来看看它增加了哪些新特性?分布式事务?数据库加密?通配符索引? 在2019年MongoDB World大会上,CTO Eliot Horowitz介绍了MongoDB 4.2中的一些功能,这些功能扩展了其在数据库技术方面的领先地位:分布式事务(Distributed Transactions),字段级加密(Client Side Field Level Encryption),通配符索引(Wildcard Indexing)、按需物化视图(Materialized Views)。 这些都是重大的改进,表明MongoDB在企业级功能方便更加完善。 MongoDB 4.2提升了事务和分析技术水平。它提供大规模的分布式事务的ACID担保和复杂的数据处理流程,还有最先进的加密控制保护机制。我们可以在任何地方运行MongoDB4.2:在本地数据中心,云上、混合云、Atlas云上。我们可以获得阿里云、AWS,Azure和GCP可用的完全托管,云原生的MongoDB服务。阿里云全球第一个实现了MongoDB异地多活架构。可以支持互联网跨国公司的大规模出海业务。 现在使用MongoDB的公司越来越多了,技术架构方案也越来越成熟。MongoDB新特性也是为了满足更多的企业级业务场景需求。 1. MongoDB 4.2 新特性 先来大体上看看有哪些改进,作为4

阿里云数据库自研产品亮相国际顶级会议ICDE 推动云原生数据库成为行业标准

纵饮孤独 提交于 2019-12-29 14:42:13
4月9日,澳门当地时间下午4:00-5:30,阿里云在ICDE 2019举办了主题为“ 云时代的数据库 ”的专场分享研讨会。 本次专场研讨会由 阿里巴巴集团副总裁、高级研究员,阿里云智能数据库产品事业部负责人李飞飞(花名:飞刀) 主持,五位学术界知名学者和教授受邀参加作为Panel Discussion的嘉宾,与现场近百位与会者进行了深入交流讨论。这五位教授分别是: Anastasia Aliamaki,Professor and ACM Fellow, EPFL; Ihab Ilyas, Professor and ACM Distinguished Scientist, Vice Chair of ACM SIGMOD, University of Waterloo; Guoliang Li, Professor, Tsinghua University; C Mohan,IBM Fellow,IEEE&ACM Fellow,IBM; Xiaofang Zhou, Professor & IEEE Fellow, University of Queensland; 整场分享讨论会分为两部分。第一部分先由来自阿里巴巴集团、阿里云智能数据库产品事业部的吕漫漪、林亮、黄贵、乔红麟技术专家们分别介绍了阿里巴巴在POLARDB for MySQL, POLARDB X,

基于阿里云之大数据学习:使用DataV制作实时销售数据可视化大屏

杀马特。学长 韩版系。学妹 提交于 2019-12-27 04:33:55
学习目标: 了解数据可视化应用场景 掌握阿里云DataV可视化工具 了解可视化大屏制作流程 使用DataV模板制作数据可视化大屏 一、数据可视化介绍 1、数据可视化: 是指将相对复杂的数据通过可视的、交互的方式进行展示,从而形象、直观的表达数据蕴含的信息和规律。包含展示类、分析类、监控类三种。 2、可视化目的 展示 企业形象传播 峰会论坛展台 嘉宾访客接待 驱动 查看业务实况 业务监控预警 驱动内部响应 洞察 多维数据呈现 辅助数据洞察 视觉发现新知 3、DataV DataV是一款阿里云提供的数据可视化在线工具。通过拖拽式的操作,使用数据连接、可视化组件库、行业设计模板库、多终端适配与发布运维等功能。 二、制作实时销售数据 【实验预期】 预期时间30分钟 用户需要通过配置一个云数据库(RDS for MySQL),创建一个数据库abc_datav,然后使用该库模拟业务系统,即将附件中提供的7张表上传到该库中去。(附件下载:https://edu.aliyun.com/course/394/material/6411/download) 1、 使用chrome浏览器登陆阿里云官网 www.aliyun.com,依次填入对应的阿里云账号信息,点击登录,进入阿里云官网的管理控制台 2. 点击产品与服务,在下来菜单中选中全部,在下一集菜单中点击云数据库RDS版,进入RDS管理控制台首页

MySQL性能基准测试对比:5.7 VS 8.0

别来无恙 提交于 2019-12-21 04:38:31
本文由云+社区发表 作者:数据库 版权声明: 本文由腾讯云数据库产品团队整理,页面原始内容来自于severalnines英文官网,若转载请注明出处。翻译目的在于传递更多全球最新数据库领域相关信息,并不意味着腾讯云数据库产品团队赞同其观点或证实其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须经过著作权人合法书面授权并自负全部法律责任。不得擅自使用腾讯云数据库团队的名义进行转载,或盗用腾讯云数据库团队名义发布信息。 原文链接:https://severalnines.com/blog/mysql-performance-benchmarking-mysql-57-vs-mysql-80 在Oracle MySQL团队的推动下,MySQL 8.0发生了巨大的变化和修改。 物理文件已更改。例如, .frm, .TRG, .TRN和 .par 不再存在。添加了大量的新特性,如通用表表达式(Common Table Expressions CTE),窗口函数(Window Functions),不可见索引( Invisible Indexes),正则表达式(regexp) -MySQL8.0现在已经完全支持Unicode,且具有多字节安全特性。数据字典也发生了变化。它现在与一个事务性数据字典合并,该字典存储有关数据库对象的信息。与以前的版本不同

云服务器如何安装dedecms

血红的双手。 提交于 2019-12-18 13:18:53
云服务器如何安装dedecms?DedeCms,即织梦内容管理系统,以简单、实用、开源而闻名,是国内最知名的PHP开源网站管理系统,也是使用用户最多的PHP类CMS系统。 56云小编提醒大家在云服务器搭建网站的过程中,是需要重新安装模版的,这需要将数据库信息,网站整体代码都安装到服务器上。 1、配置云服务器环境,将下载后的DedeCMS模版解压,复制模版信息至本地网站根目录下,比如D:\wamp\www 2、在解压后的文件中,找到相关的安装文件,一般目录在 install/install_lock.txt,将这个文件删除,目的是为避免重复安装。 3、点击浏览器,输入安装路径进行安装。在安装过程中,一般模版站安装需要index.php和module-install.php两个程序,如果模版程序为了防止重复安装更名,则需要将这两个站更改成.php后缀,否则网站将无法正常安装。 4、按提示正常安装,填入相关的数据库信息,点击完成,进入后台登录,数据库密码是云服务器安装时设置的。 5、进入后台,需要进行数据库的还原。点击主菜单》SQL命令行工具》数据还原》开始还原数据。 6、还原数据库后,重新登录模版站后台,在系统设置内,将网站站点设置成云主机地址,然后将网站的数据进行全部更新,清理所有数据缓存、更新所有栏目及主页、更新所有文档。所有的安装步骤就基本完成。 来源: CSDN 作者:

云数据库MongoDB版清理oplog日志和compact命令详解

依然范特西╮ 提交于 2019-12-16 14:21:00
1、问题描述: 今天看到公司mongodb的oplog有点大,看到云数据库MongoDB版日志清理策略。 MongoDB数据库在长期频繁地删除/写入数据或批量删除了大量数据,将产生很多物理空间碎片。 这些碎片将占用磁盘空间,降低磁盘利用率。 您可以对集合中的所有数据和索引进行重写和碎片整理,释放未使用的空间,提升磁盘利用率和查询性能。 下图说明: 2、前提条件 mongo实例的存储引擎为WiredTiger。 3、详细信息 用户禁止使用 db.repairDatabase 命令。 日志占用空间过大时,会触发自动清理策略。 4、注意事项 执行该操作前,建议对数据库进行备份 执行该操作会导致集合所属的数据库被锁定,且该数据库的读写操作将被阻塞,请在业务低峰期操作。 说明:执行物理空间回收命令(compact)所需的时间与集合数据量、系统负载等因素有关。 5、remove与drop的区别 MongoDB 里删除一个集合里所有文档,有两种方式 db.collection.remove({}, {multi: true}) ,逐个文档从 btree 里删除,最后所有文档被删除,但文件物理空间不会被回收 db.collection.drop() 删除集合的物理文件,空间立即被回收 multi:可选,mongodb 默认是false,只更新找到的第一条记录,如果这个参数为true

自己开发一个网站

自古美人都是妖i 提交于 2019-12-12 05:13:50
java开发者 自建一个网站记录 此网站链接pasyy.cn 前端\后端\数据库 源码免费下载----码云 每周一更,记录一人搭建网站的开发过程,并将注意的地方标注出来,并会适当提出自己的一些思路的见解. 希望观后有收获,祝大家观后能更轻松的完成自己的需求! 开发环境( 前后端分离项目 ):   前端  : bootstrap-3.37 + jq-3.2.1 + angular-1.58   后端  : jdk8 + SSM框架   服务器 : tomcat 9 + nginx1.16   数据库 : mysql 8.0.18   云服务器: centos 7.6 开发流程: 1.应该准备一个博客,记录自己遇到的问题(我就没有这步,或者说我把问题记录在 了有道云笔记上,所以现在搬运过来) 2.配置 java开发环境 和 开发的IDE 3.推荐下载前端开发软件 Hbuilder或Hbuilder-X(体积更小,开发迅速) 4.下载mysql8.0 并准备数据库图形化软件sqlyog 5.下载并配置nginx 6.单机测试 7.购买服务器,域名 8.在购买的linux服务器 配置java环境,下载安装tomcat,nginx(通过xshell和xftp将window连接你的linux服务器) 9.访问,大功告成 功能总览: 1.i18n 语言切换 2.登陆,注册,找回密码 3

腾讯云Ubuntu18.04部署Django项目(简单部署,仅供学习)

本秂侑毒 提交于 2019-12-10 17:42:33
登录腾讯云 进入腾讯云官网,点击右上角控制台,微信扫码登录 点击云服务器进入实例界面 点击左侧安全组,新建安全组(放通全部端口表示可以通过网络访问实例所有端口) 点击实例最右边-更多-安全组-配置安全组,选择刚刚那个新建的就好了 点击登录,微信扫码,选择第一种登录方式,使用购买腾讯云默认的账号密码登录(如果忘了点击更多重置密码,一步一步来就好了) 安装环境 Ubuntu18.04自带python3 ,但是没有下载pip,我们先安装一下所有必要的环境 sudo apt install python3-pip sudo pip3 install uwsgi sudo apt install nginx sudo apt install mysql-server 由于安装MySQL可能会未设置密码(很有可能),我们判断一下MySQL是否安装成功,并且查看默认密码 netstat -tap | grep mysql # 查看默认密码 cat /etc/mysql/debian.cnf user和password就是用户和密码,使用默认用户密码进入MySQL mysql -u 'user' -p 'password' # mysql -udebian-sys-maint -p8CpdQIbo3hAjmwwk 更改密码和一些设置 use mysql ; update mysql.user