数据库性能

数据库分表） 数据切分 垂直（纵向）切分 水平（横向）切分 分库分表带来的问题 1. 事务一致性问题 2. 跨节点关联查询 join 问题 3. 跨节点分页、排序、函数问题 4. 全局主键避重问题 1. UUID 2. 结合数据库维护主键ID表 3. Snowflake分布式自增ID算法 5. 数据迁移、扩容问题 什么时候考虑切分 1. 能不切分尽量不要切分 2. 数据量过大，正常运维影响业务访问 3. 随着业务发展，需要对某些字段垂直拆分 4. 数据量快速增长 5. 安全性和可用性 案例分析 1. 用户中心业务场景 2. 水平切分方法 "根据数值范围"：以主键uid为划分依据，按uid的范围将数据水平切分到多个数据库上。 "根据数值取模"：也是以主键uid为划分依据，按uid取模的值将数据水平切分到多个数据库上。 3. 非uid的查询方法 1. 建立非uid属性到uid的映射关系 1. 映射关系 2. 基因法 2. 前台与后台分离 支持分库分表中间件 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心内容无非就是数据切分（Sharding）

数据库连接池技术带来的优势： 1． 资源重用 由于数据库连接得到重用，避免了频繁创建、释放连接引起的大量性能开销。在减少系统消耗的基础上，另一方面也增进了系统运行环境的平稳性（减少内存碎片以及数据库临时进程/线程的数量）。 2． 更快的系统响应速度 数据库连接池在初始化过程中，往往已经创建了若干数据库连接置于池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言，直接利用现有可用连接，避免了数据库连接初始化和释放过程的时间开销，从而缩减了系统整体响应时间。 3． 新的资源分配手段 对于多应用共享同一数据库的系统而言，可在应用层通过数据库连接的配置，实现数据库连接池技术，几年钱也许还是个新鲜话题，对于目前的业务系统而言，如果设计中还没有考虑到连接池的应用，那么…….快在设计文档中加上这部分的内容吧。某一应用最大可用数据库连接数的限制，避免某一应用独占所有数据库资源。 4． 统一的连接管理，避免数据库连接泄漏 在较为完备的数据库连接池实现中，可根据预先的连接占用超时设定，强制收回被占用连接。从而避免了常规数据库连接操作中可能出现的资源泄漏。一个最小化的数据库连接池实现. 连接池类是对某一数据库所有连接的“缓冲池”，主要实现以下功能：①从连接池获取或创建可用连接；②使用完毕之后，把连接返还给连接池；③在系统关闭前，断开所有连接并释放连接占用的系统资源；④还能够处理无效连接

分库分表之第一篇 1.概述 1.1.分库分表是什么 1.2.分库分表的方式 1.2.1.垂直分表 1.2.2.垂直分库 1.2.3.水平分库 1.2.4.水平分表 1.2.5 小结 1.3.分库分表带来的问题 1.3.1.事务一致性问题 1.3.2.跨节点关联查询 1.3.3.跨节点分页、排序函数 1.3.4.主键避重 1.3.5.公共表 1.4 Sharding-JDBC介绍 1.4.1 Sharding-JDBC介绍 1.4.2 与jdbc性能对比 1.概述 1.1.分库分表是什么 小明是一家初创电商平台的开发人员，他负责卖家模块的功能开发，其中涉及了店铺、商品的相关业务，设计如下数据库 ： 通过以下SQL能够获取到商品相关的店铺信息、地理区域信息 ： SELECT p . * , r . [ 地理区域名称 ] , s . [ 店铺名称 ] , s . [ 信誉 ] FROM [ 商品信息 ] p LEFT JOIN [ 地理区域 ] r ON p . [ 产地 ] = r . [ 地理区域编码 ] LEFT JOIN [ 店铺信息 ] s ON p . id = s . [ 所属店铺 ] WHERE p . id = ? 形成类似以下列表展示 ： 随着公司业务快速发展，数据库中的数据量猛增，访问性能也变慢了，优化迫在眉睫。分析一下问题出现在哪儿 呢?

摘要：在谈论数据库架构和数据库优化的时候,我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。让人感到高兴的是,这些朋友所服务的公司业务量正在(或者即将面临)高速增长,技术方面也面临着一些挑战。让人感到担忧的是,他们系统真的就需要“分库分表”了吗?“分库分表”有那么容易实践吗?为此,笔者整理了分库分表中可能遇到的一些问题,并结合以往经验介绍了对应的解决思路和建议。垂直分表垂直分表在日常开发和设计中比较常见,通俗的说法叫做“大表拆小表”,拆分是基于关系型数据库中 在谈论数据库架构和数据库优化的时候,我们经常会听到“分库分表”、“分片”、“Sharding”…这样的关键词。让人感到高兴的是,这些朋友所服务的公司业务量正在(或者即将面临)高速增长,技术方面也面临着一些挑战。让人感到担忧的是,他们系统真的就需要“分库分表”了吗?“分库分表”有那么容易实践吗?为此,笔者整理了分库分表中可能遇到的一些问题,并结合以往经验介绍了对应的解决思路和建议。 垂直分表 垂直分表在日常开发和设计中比较常见,通俗的说法叫做“大表拆小表”,拆分是基于关系型数据库中的“列”(字段)进行的。通常情况,某个表中的字段比较多,可以新建立一张“扩展表”,将不经常使用或者长度较大的字段拆分出去放到“扩展表”中,如下图所示: 小结 在字段很多的情况下,拆分开确实更便于开发和维护

一 数据库概述 1. 数据库？？？ 　　什么是数据库呢？ 　　先来看看百度怎么说的 数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。 　　百度的貌似不好理解啊，让我说啊，数据库是存储数据的地方，超哥，你这不是废话么？这位同学，你你你你你说的对，哈哈，存数据的地方是存在哪里呢，存在硬盘上，为什么不是存在内存里面，因为内存无法永久保存。之前我们存数据都是使用的文件，在一个word文档里面写一些羞羞的网址，然后保存，就存储到硬盘上了。有同学就会说了，超哥，我这通过文件不是也将数据保存上了吗？是的，没毛病，但是你想，通过文件来操作数据，效率是不是很低，首先打开关闭就比较慢，其次是我们操作起来也比较麻烦，对不对，如果我想记录一条关于我个人信息的数据，我使用文档来存，是不是很不友好，并且我们要查数据的时候，看图1：图1是一个word里面记录的信息，如果我想查询出所有人的名字，这个操作是不是就很难搞定了，来来来，配合起来~~，你应该说是的，那我就接着说，有同学可能就会说了，老师我用excel啊，看图2，一列就搞定了，没毛病，但是你想打开操作excel效率低不低。并且通过你自己写的程序来操作这些文件是不是很麻烦

mysqladmin -u root -pxxx -r -i 1 extended-status -S /backup/mysql/mysql.sock |awk -F"|" "BEGIN{ count=0; }"'{ if($2 ~ /Variable_name/ && ((++count)%20 == 1)){\ print "----------|---------|--- MySQL Command Status --|----- Innodb Row Operation ----|-- Buffer Pool Read --";\ print "---Time---|---QPS---|select insert update delete| read inserted updated deleted| logical physical";\ }\ else if ($2 ~ /Queries/){queries=$3;}\ else if ($2 ~ /Com_select /){com_select=$3;}\ else if ($2 ~ /Com_insert /){com_insert=$3;}\ else if ($2 ~ /Com_update /){com_update=$3;}\ else if ($2 ~ /Com_delete /){com

=======开篇吐槽：最近一段时间刚好碰上中秋国庆双节，而且工作任务繁重，基本很难保证有时间来写文章了======= 《可伸缩服务架构 框架与中间件》与《分布式服务架构 原理、设计与实战》是要配套捆绑着看，这营销手段，服。 这书主要介绍了在分布式系统中常规用到的一些框架组件，比如分布式ID、消息队列、缓存、RPC框架、ES等。书中大部分内容的作用更多的是整体介绍、知识点扩展、初步入门，书中贴的源代码其中很难让人认真一行一行去阅读学习。想要更深入的学习，需要在平时工作多积累丰富的项目经验，或者多看看开源项目，从而去总结和提取。 每一章介绍一个组件，摘抄一些自己觉得有用的内容，归纳整理，然后加以理解。（主要还是强迫自己形成总结成文的习惯，看的书很多，都总是很容易忘记，效果甚微） 第1章 如何设计一款永不重复的高性能分布式发号器 1. 为什么不直接采用UUID？ 虽然UUID能够保证唯一性，但无法满足业务系统需要的很多其他特性，比如时间粗略有序性、可反解和可制造性（说人话，就是分布式ID需要体现根据时间递增的特点，并且从ID串中能解析出一定的业务含义），同时UUID比较长，占空间大，性能较差。 2. 那基于数据库来实现呢？ 即通过调整自增字段或者数据库sequence的步长来确保跨数据库的ID的唯一性，但这种方案强依赖于数据库。 实现方案，可见我：重构 - 分布式ID设计方案 3.

本期为我们带来分享的嘉宾是 ACOUG 核心专家，Oracle ACE 总监 杨廷琨先生，本次嘉年华上，杨老师为我们带来题为：Oracle 19c 和 20c 的新特性解密 主题分享。下面，让我们跟随杨老师，一同来学习关于Oracle 19c和20c新特性吧~ 在这次数据技术嘉年华大会上，我和大家分享的是Oracle最新版本的一些重要的新特性。 根据我们白求恩自动巡检平台的数据分析结果，虽然Oracle对于11g的支持已经进入扩展维护期，但是目前业内使用最多的版本仍然是11.2，大概占到了6成左右。而12c的版本的使用超过10g版本，总体接近3成。这说明对于很多客户，已经逐渐把数据库升级到了12.2及以后的版本上。12c正在逐渐变为主流的版本，因此希望把新版本中一些重要的新特性分享给大家，以便于后续在数据库版本选择的时候可以对新的功能做到心中有数。 12.2推出了很长时间了，大部分DBA对于12.2的特性并不陌生，因此这次主要分享18c、19c和20c的新特性。 在Oracle中，一个频繁插入的系统在正常时刻的运行会非常稳定和高效，但是很可能突然会出现大量的竞争和等待，一般来说产生这个性能问题原因是单调递增索引在索引分裂的时候引发的竞争和等待。绝大部分主键依赖于SEQUENCE产生的NEXT_VALUE，而SEQUENCE产生的值一般都是单调递增的，因此序列产生的新值总是最大的

此文是根据杨尚刚在【QCON高可用架构群】中，针对MySQL在单表海量记录等场景下，业界广泛关注的MySQL问题的经验分享整理而成，转发请注明出处。 杨尚刚，美图公司数据库高级DBA，负责美图后端数据存储平台建设和架构设计。前新浪高级数据库工程师，负责新浪微博核心数据库架构改造优化，以及数据库相关的服务器存储选型设计。 前言 MySQL数据库大家应该都很熟悉，而且随着前几年的阿里的去IOE，MySQL逐渐引起更多人的重视。 MySQL历史 1979年，Monty Widenius写了最初的版本，96年发布1.0 1995-2000年，MySQL AB成立，引入BDB 2000年4月，集成MyISAM和replication 2001年，Heikki Tuuri向MySQL建议集成InnoDB 2003发布5.0，提供了视图、存储过程等功能 2008年，MySQL AB被Sun收购，09年推出5.1 2009年4月，Oracle收购Sun，2010年12月推出5.5 2013年2月推出5.6 GA，5.7开发中 MySQL的优点 使用简单 开源免费 扩展性“好”，在一定阶段扩展性好 社区活跃 性能可以满足互联网存储和性能需求，离不开硬件支持 上面这几个因素也是大多数公司选择考虑MySQL的原因。不过MySQL本身存在的问题和限制也很多，有些问题点也经常被其他数据库吐槽或鄙视

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在 千万级 以下，字符串为主的表在 五百万 以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用 TINYINT 、 SMALLINT 、 MEDIUM_INT 作为整数类型而非 INT ，如果非负则加上 UNSIGNED VARCHAR 的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用 TIMESTAMP 而非 DATETIME ， 单表不要有太多字段，建议在20以内 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在 WHERE 和 ORDER BY 命令上涉及的列建立索引，可根据 EXPLAIN 来查看是否用了索引还是全表扫描 应尽量避免在 WHERE 子句中对字段进行 NULL 值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用 UNIQUE