数据库分区

Kafka【第一篇】Kafka集群搭建 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing

生产场景的磁盘分区 普通分区形式 （1）boot分区 引导分区 256M （2）swap 交换分区 内存大于8G给8G。内存小于8G，就给1.5或2倍的内存。 （3）/ 根目录 给所有空间。 应用场景： （1）数据不那么重要 （2）必须要有备份策略，也就是实时备份。 存储服务器（含数据库）的分区方式 （1）/boot 引导分区 256M （2）swap 交换分区 内存大于8G给8G。内存小于8G，就给1.5或2倍的内存。 （3）/ 根分区 给100G （4）/data 数据分区 剩余全给 门户网站分区方式 （1）/boot 引导分区 256M （2）swap 交换分区 内存大于8G给8G。内存小于8G，就给1.5或2倍的内存。 （3）/ 根分区 给100G。剩余容量保留，将来那个部门需要使用，使用的部门就自己分剩余的分区。 来源： 51CTO 作者： 51圣堂 链接： https://blog.51cto.com/13751090/2480816

在谈论分区表这个话题之前，先和大家分享一个案例： 2008 年秋天的某天，我的团队接到成都市 XX 局一个 SQL 调优的 ESS 单子。客户反映查询统计一次各地市局上报的数据汇总，需要 6 到 15 秒才能获得真正想要的数据，当我和销售人员赶到客户数据中心现场后，发现里面布置了很多柜式服务器，每台服务器都是 8 核 16G 内存。和相关技术负责人沟通以及演示业务系统之后，可以肯定不是服务器性能的问题，我详细分析了他们的数据库，统计慢的几张表往往一周的上报数据便会增加 1 百多万行，导致他们这个系统刚上线没多久，某些表产生的数据已经在 2000 万行以上，最终我提出了优化方案，业务逻辑层采用存储过程代替普通的 SQL 语句，并启用相关开发平台的缓存技术；数据库系统中采用增强索引和规划分区表进行优化，最终问题解决。 事实上数据库性能优化是每个优秀的数据库工程师必须具备的素质之一，而这一节讨论的分区表便是性能调优的一种技术。在企业级应用系统中，一个表存储 2 千万行的数据很常见，不可预期的数据也会在逐渐增长，所以数千万级别的表 DBA 会常常碰到，而 TB 级别的数据最终也在所难免，因此了解和掌握性能调优的 18 般兵器非常重要。 我计划用三篇博文介绍分区表这个主题，分别为： 1， 分区表理论解析 2， 实战分区表 3， 分区表前传 大凡在应用系统和数据库系统中行走江湖多年的朋友

3 月，跳不动了？>>> 一: 分区简介 分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库应用而言，逻辑上就只有一个表或者一个索引，但实际上这个表可能有N个物理分区对象组成，每个分区都是一个独立的对象，可以独立处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。 分区有利于管理非常大的表，它采用分而治之的逻辑，分区引入了分区键的概念，分区键用于根据某个区间值(或者范围值)、特定值列表或者hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象碧昂城一些小对象。 MySQL分区即可以对数据进行分区也可以对索引进行分区。 分区类型 range分区：基于一个给定的连续区间范围(区间要求连续并且不能重叠)，把数据分配到不同的分区 list分区：类似于range分区，区别在于list分区是居于枚举出的值列表分区，range是基于给定的连续区间范围分区 hash分区：基于给定的分区个数，把数据分配到不同的分区 key分区：类似于hash分区 注意：无论哪种分区，要么你分区表上没有主键/唯一键，要么分区表的主键/唯一键都必须包含分区键，也就是说不能使用主键/唯一键字段之外的其它字段分区。 ####MySQL分区的有限主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据 优化查询

Oracle11G分区表 　　当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 作用： 　　Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 　　分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML 命令访问分区后的表时，无需任何修改。 什么时候用： 　　1、表的大小超过2GB。 　　2、表中包含历史数据，新的数据被增加都新的分区中。 优点： 　　1、改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 　　2、增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 　　3、维护方便

Atitit. 分区对索引的影响 分区索引和全局索引 attilax 总结 1 . 分区的好处 1 2 . 分区键： 2 3 . 分区的建议： 2 4 . 分区索引和全局索引： 2 5 . 全局索引就是在全表上创建索引， 3 6 . 总结 4 7 . refer 4 1. 分区的好处 在一个表的数据超过过2000万条或占用2G空间时，建议建立分区表 分区使得数据管理操作如数据装载、索引建立和重建、备份和恢复等在分区级别上完成，这比在表级完成操作要明显的节省时间； 分区可以提高性能，在很多情况下，查询可以通过扫描某个分区来完成，而不是去扫描整个表； 根据查询条件自动将扫描范围缩小到一个或几个表（索引）分区上。这种方式其实是分区扫描替代了全表扫描。 如果连接查询的两张表都在连接列上进行分区，则 会优化连接操作，将一个大的连接分成各个对应分区间的连接，而且这些分区连接操作还可以并行执行。 并行DML：采用并行执行，可以使操作并行在各个分区上同时执行，从而提供执行效率。 2. 分区键： 分区表中的每条记录都唯一的属于一个分区，分区键就是确定一条记录属于哪个分区的一列或多个列。 分区键可以由1～16列组成，可以包含空值，不能包含ROWID、LEVEL或MLSLABEL等伪列 3. 分区的建议： 表的大小超过2G就可以考虑是否分区； 包含历史数据的表。这种表一般采用时间字段的范围分区

一、Oracle分区简介 ORACLE的分区是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术，通过将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的、单独的对象进行管理，为大量数据提供了可伸缩的性能。分区通过将操作分配给更小的存储单元，减少了需要进行管理操作的时间，并通过增强的并行处理提高了性能，通过屏蔽故障数据的分区，还增加了可用性。 二、Oracle分区优缺点 ? 优点： 增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可； 均衡I/O：可以把不同的分区映射到磁盘以平衡I/O，改善整个系统性能； 改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 ? 缺点： 分区表相关：已经存在的表没有方法可以直接转化为分区表。不过 Oracle 提供了在线重定义表的功能。 三、Oracle分区方法 ? 范围分区： 范围分区就是对数据表中的某个值的范围进行分区，根据某个值的范围，决定将该数据存储在哪个分区上。如根据序号分区，根据业务记录的创建日期进行分区等。 ? Hash分区（散列分区）： 散列分区为通过指定分区编号来均匀分布数据的一种分区类型，因为通过在I/O设备上进行散列分区，使得这些分区大小一致。 ? List分区（列表分区）：

一、Linux系统磁盘概念 磁盘的结构体系 01. 磁盘的物理结构 (外部结构 内部结构) 工作原理(先切换磁头 让磁头镜像运动) 02. 磁盘阵列说明 (raid0 raid1 raid5 raid10 raid01) 磁盘阵列如何配置 配置LVM L 逻辑 v 卷组 M 管理 逻辑卷管理 --> 实现可以随意调整磁盘分区大小 03. 磁盘分区概念 给容量较小的磁盘进行分区: 小于2T fdisk 给容量较大的磁盘进行分区: 大于2T parted 04. 磁盘格式化操作(创建文件系统) 05. 磁盘维护管理知识(如何使用磁盘 挂载使用) 磁盘层次结构详细说明--物理结构 1、磁盘的外部结构: 看的见摸得到的结构 组成部分 a 磁盘主轴 决定磁盘转速（rpm-round per minute） 家用磁盘转速 7200 rpm 5400 rpm 企业磁盘转速 15k rpm 10k rpm b 磁盘盘片 用于存储数据 c 磁盘磁头 用于读取数据 d 磁盘接口 用于连接主板 用于连接阵列卡 2、磁盘的内部结构: 看不见的结构信息 组成部分: a 磁盘（Disk） 磁盘或者分区的大小 = 柱面大小 * 柱面数 b 磁头（Head）（一个柱面有255个） 作用说明：用来写入和读取数据的 特点说明：盘面数量等于磁头数量 工作原理：采用径向运动读写数据 c 磁道（Track

1.创建分区函数 CREATE PARTITION FUNCTION xx1(int) 解释：在当前数据库中创建一个函数，该函数可根据指定列的值将表或索引的各行映射到分区。 语法： 1 2 3 4 CREATE PARTITION FUNCTION partition_function_name ( input_parameter_type ) AS RANGE [ LEFT | RIGHT ] FOR VALUES ( [ boundary_value [ ,...n ] ] ) [ ; ] 创建分区的范围： 1 AS RANGE LEFT FOR VALUES (10000, 20000); 注释：创建分区函数：myRangePF2，以INT类型分区，分三个区间，10000以内在A 区，1W-2W在B区，2W以上在C区. 2.创建分区架构： 1 2 3 4 5 CREATE PARTITION SCHEME myRangePS2 AS PARTITION xx1 TO (a, b, c); 注释：在分区函数XX1上创建分区架构：myRangePS2，分别为A,B,C三个区间 A,B,C分别为三个文件组的名称，而且必须三个NDF隶属于这三个组，文件所属文件组一旦创建就不能修改 3.对表进行分区 1 2 3 4 5 6 7 CREATE TABLE [dbo].[AvCache](

转载出处： http://blog.csdn.net/doyouknowm/archive/2009/08/20/4466072.aspx 1 -- 进行演示操作前, 先备份, 以便可以在演示完成后, 恢复到原始状态 2 USE master 3 -- 备份 4 BACKUP DATABASE AdventureWorks 5 TO DISK = ' AdventureWorks.bak ' 6 WITH FORMAT 7 8 -- -- 恢复 9 -- RESTORE DATABASE AdventureWorks 10 -- FROM DISK = 'AdventureWorks.bak' 11 -- WITH REPLACE 12 GO 13 14 -- ========================================= 15 -- 转换为分区表 16 -- ========================================= 17 USE AdventureWorks 18 GO 19 20 -- 1. 创建分区函数 21 -- a. 适用于存储历史存档记录的分区表的分区函数 22 DECLARE @dt datetime 23 SET @dt = ' 20020101 ' 24 CREATE PARTITION FUNCTION PF