mysql表分区

3 月，跳不动了？>>> 一: 分区简介 分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库应用而言，逻辑上就只有一个表或者一个索引，但实际上这个表可能有N个物理分区对象组成，每个分区都是一个独立的对象，可以独立处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。 分区有利于管理非常大的表，它采用分而治之的逻辑，分区引入了分区键的概念，分区键用于根据某个区间值(或者范围值)、特定值列表或者hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象碧昂城一些小对象。 MySQL分区即可以对数据进行分区也可以对索引进行分区。 分区类型 range分区：基于一个给定的连续区间范围(区间要求连续并且不能重叠)，把数据分配到不同的分区 list分区：类似于range分区，区别在于list分区是居于枚举出的值列表分区，range是基于给定的连续区间范围分区 hash分区：基于给定的分区个数，把数据分配到不同的分区 key分区：类似于hash分区 注意：无论哪种分区，要么你分区表上没有主键/唯一键，要么分区表的主键/唯一键都必须包含分区键，也就是说不能使用主键/唯一键字段之外的其它字段分区。 ####MySQL分区的有限主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据 优化查询

一、 mysql分区简介 数据库分区 数据库分区是一种物理数据库设计技术。虽然分区技术可以实现很多效果，但其主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减sql语句的响应时间，同时对于应用来说分区完全是透明的。 MYSQL的分区主要有两种形式：水平分区和垂直分区 水平分区（HorizontalPartitioning） 这种形式的分区是对根据表的行进行分区，通过这样的方式不同分组里面的物理列分割的数据集得以组合，从而进行个体分割（单分区）或集体分割（1个或多个分区）。 所有在表中定义的列在每个数据集中都能找到，所以表的特性依然得以保持。水平分区一定要通过某个属性列来分割。常见的比如年份，日期等。 垂直分区（VerticalPartitioning） 这种分区方式一般来说是通过对表的垂直划分来减少目标表的宽度，使某些特定的列被划分到特定的分区，每个分区都包含了其中的列所对应所有行。 可以用 showvariables like '%partition%'; 命令查询当前的mysql数据库版本是否支持分区。 分区的作用：数据库性能的提升和简化数据管理 在扫描操作中，mysql优化器只扫描保护数据的那个分区以减少扫描范围获得性能的提高。 分区技术使得数据管理变得简单，删除某个分区不会对另外的分区造成影响，分区有系统直接管理不用手工干预。 mysql从5.1版本开始支持分区

面对当今大数据存储，设想当mysql中一个表的总记录超过1000W，会出现性能的大幅度下降吗？ 答案是肯定的，一个表的总记录超过1000W，在操作系统层面检索也是效率非常低的 解决方案： 目前针对海量数据的优化有两种方法： 1、大表拆小表的方式（主要有分表和分区两者技术） （1）分表技术 垂直分割 优势：降低高并发情况下，对于表的锁定。 不足：对于单表来说，随着数据库的记录增多，读写压力将进一步增大。 水平分割 如果单表的IO压力大，可以考虑用水平分割，其原理就是通过hash算法，将一张表分为N多页，并通过一个新的表（总表），记录着每个页的的位置。假如一 个门户网站，它的数据库表已经达到了1000万条记录，那么此时如果通过select去查询，必定会效率低下（不做索引的前提下）。为了降低单表的读写 IO压力，通过水平分割，将这个表分成10个页，同时生成一个总表，记录各个页的信息，那么假如我查询一条id=100的记录，它不再需要全表扫描，而是 通过总表找到该记录在哪个对应的页上，然后再去相应的页做检索，这样就降低了IO压力。 水平分表技术就是将一个表拆成多个表，比较常见的方式就是将表中的记录按照某种HASH算法进行拆分，同时，这种分区方法也必须对前端的应用程序中的 SQL进行修改方能使用，而且对于一个SQL语句，可能会修改两个表，那么你必须要修改两个SQL语句来完成你这个逻辑的事务

在对表进行 分区 时，如果分区字段没有包含在主键字段内，如表A的主键为ID,分区字段为createtime ，按时间范围分区，代码如下： CREATE TABLE T1 ( id int(8) NOT NULL AUTO_INCREMENT, createtime datetime NOT NULL, PRIMARY KEY (id) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 PARTITION BY RANGE(TO_DAYS (createtime)) ( PARTITION p0 VALUES LESS THAN (TO_DAYS('2010-04-15')), PARTITION p1 VALUES LESS THAN (TO_DAYS('2010-05-01')), PARTITION p2 VALUES LESS THAN (TO_DAYS('2010-05-15')), PARTITION p3 VALUES LESS THAN (TO_DAYS('2010-05-31')), PARTITION p4 VALUES LESS THAN (TO_DAYS('2010-06-15')), PARTITION p19 VALUES LESS ThAN MAXVALUE); 错误提示：#1503 A

自5.1开始对分区(Partition)有支持，一张表最多1024个分区 查询分区数据： SELECT * from table PARTITION(p0) = 水平分区（根据列属性按行分）= 举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。 === 水平分区的几种模式：=== * Range（范围） – 这种模式允许DBA将数据划分不同范围。例如DBA可以将一个表通过年份划分成三个分区，80年代（1980's）的数据，90年代（1990's）的数据以及任何在2000年（包括2000年）后的数据。 * Hash（哈希） – 这中模式允许DBA通过对表的一个或多个列的Hash Key进行计算，最后通过这个Hash码不同数值对应的数据区域进行分区，。例如DBA可以建立一个对表主键进行分区的表。 * Key（键值） – 上面Hash模式的一种延伸，这里的Hash Key是MySQL系统产生的。 * List（预定义列表） – 这种模式允许系统通过DBA定义的列表的值所对应的行数据进行分割。例如：DBA建立了一个横跨三个分区的表，分别根据2004年2005年和2006年值所对应的数据。 * Composite（复合模式） - 很神秘吧，哈哈，其实是以上模式的组合使用而已，就不解释了。举例：在初始化已经进行了Range范围分区的表上

1.分区 mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的， 一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,myi就会变的很大，查找数据就会变的很慢，这个时候我们可以利用mysql的分区功能， 在物理上将这一张表对应的三个文件，分割成许多个小块，这样呢，我们查找一条数据时，就不用全部查找了，只要知道这条数据在哪一块，然后在那一块找就行了。 如果表的数据太大，可能一个磁盘放不下，这个时候，我们可以把数据分配到不同的磁盘里面去 分区的二种方式 a，横向分区 什么是横向分区呢？就是横着来分区了，举例来说明一下，假如有100W条数据，分成十份，前10W条数据放到第一个分区，第二个10W条数据放到第二个分区，依此类推。也就是把表分成了十分，根用merge来分表，有点像哦。取出一条数据的时候，这条数据包含了表结构中的所有字段，也就是说横向分区，并没有改变表的结构。 b，纵向分区 什么是纵向分区呢？就是竖来分区了，举例来说明，在设计用户表的时候，开始的时候没有考虑好，而把个人的所有信息都放到了一张表里面去，这样这个表里面就会有比较大的字段，如个人简介，而这些简介呢，也许不会有好多人去看，所以等到有人要看的时候

分区 工作原理 对用户而言，分区表是一个独立的逻辑表，但是底层MySQL将其分成多个物理子表，这对用户来说是透明的，每一个分区表都会使用一个独立的表文件。 如果数据量比较大，可以进行分区。分区对PHP层面是无感知的，对代码没有改变。但是需要对mysql的表来做一个物理层面的拆分。将数据通过一些策略进行拆分，客户也是无感知的，对业务逻辑也没有什么影响。 创建表时使用partition by 子句定义每个分区存放的数据，比如年龄，地区等等。执行查询时， 优化器 会根据分区定义过滤那些没有我们需要数据的分区，这样查询只需要查询所需数据存在的分区即可。 目的 将数据按照一个较粗的力度分在不同的表中，这样可以将相关的数据存放在一起。而且如果想一次性删除整个分区的数据也很方便。 使用场景 表非常大或者只在表的最后有热点数据，其它都是历史数据。可以分区 分区表的数据更容易维护，可以对独立的分区进行独立的操作，就相当于独立的表，不过用户感知不到 分区表的数据可以分布在不同的机器上，从而高效利用资源。 可以使用分区表来避免某些特殊的瓶颈。比如数据库的特殊查询等等。 可以备份和恢复独立的分区。 限制 一个表最多只能有1024个分区 最好用mysql5.5以上的，可以使用列分区。否则mysql中含有null会使分区过滤无效。 分区字段中如果有主键 和唯一索引列，那么主键列和唯一列都必须包含进来。

当 MySQL 单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHAR的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME， 单表不要有太多字段，建议在20以内 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致

创建分区表 CREATE TABLE k1 ( id INT NOT NULL PRIMARY KEY , name VARCHAR ( 20 ) ) PARTITION BY KEY ( ) PARTITIONS 2 ; 键分区（Key）与哈希分区（Hash）的区别 KEY仅接受零个或多个列名的列表。 如果表有一个主键，则用作分区键的任何列都必须包含表的主键的一部分或全部。 如果没有将列名指定为分区键，则使用表的主键（如果有）。 如果没有主键，但是有一个唯一键，则将唯一键用于分区键。 但是，如果唯一键列未定义为 NOT NULL，则建表语句将失败。 查看分区信息 如果指定分区数为2，则分区名称为：p0~p1 select table_schema , table_name , partition_name , partition_method , partition_expression from information_schema . PARTITIONS where table_name = 'k1' ; 分区号分配策略 基于mysql内部哈希函数，如md5(),password(); 写入测试数据 insert into k1 ( id , name ) values ( 1 , 'c1' ) ; insert into k1 ( id , name ) values (

首先采用Mysql存储千亿级的数据，确实是一项非常大的挑战。Mysql单表确实可以存储10亿级的数据，只是这个时候性能非常差，项目中大量的实验证明，Mysql单表容量在500万左右，性能处于最佳状态。 针对大表的优化，主要是通过数据库分库分表来解决，目前比较普遍的方案有三个：分区，分库分表，NoSql/NewSql。实际项目中，这三种方案是结合的，目前绝大部分系统的核心数据都是以RDBMS存储为主，NoSql/NewSql存储为辅。 分区 首先来了解一下分区方案。 分区表是由多个相关的底层表实现的。这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引。这个方案对用户屏蔽了sharding的细节，即使查询条件没有sharding column，它也能正常工作（只是这时候性能一般）。 不过它的缺点很明显：很多的资源都受到单机的限制，例如连接数，网络吞吐等。如何进行分区，在实际应用中是一个非常关键的要素之一。 下面开始举例：以客户信息为例，客户数据量5000万加，项目背景要求保存客户的银行卡绑定关系，客户的证件绑定关系，以及客户绑定的业务信息。 此业务背景下，该如何设计数据库呢。项目一期的时候，我们建立了一张客户业务绑定关系表