sql优化

3 月，跳不动了？>>> 虽然知道处理大数据量时，数据库要做读写分离，但是为什么读写分离可以提高性能呢？ 下面是搜来的一些解释，看看再说！ 一 什么是读写分离 MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中 的从数据库。 当然，主服务器也可以提供查询服务。使用读写分离最大的作用无非是环境服务器压力。可以看下这张图： 二 读写分离的好处 1.增加冗余 2.增加了机器的处理能力 3.对于读操作为主的应用，使用读写分离是最好的场景，因为可以确保写的服务器压力更小，而读又可以接受点时间上的延迟。 三 读写分离提高性能之原因 1.物理服务器增加，负荷增加 2.主从只负责各自的写和读，极大程度的缓解X锁和S锁争用 3.从库可配置myisam引擎，提升查询性能以及节约系统开销 4.从库同步主库的数据和主库直接写还是有区别的，通过主库发送来的binlog恢复数据，但是，最重要区别在于主库向从库发送binlog是异步的，从库恢复数据也是异步的 5.读写分离适用与读远大于写的场景，如果只有一台服务器，当select很多时，update和delete会被这些select访问中的数据堵塞，等待select结束，并发性能不高。

第一个就是使用优化查询的方法。这个在前期的内容中有具体说明，这里不再做说明。 第二、这里简要说明一个以下几个方法： 　　 主从复制、读写分离、负载均衡 　 　目前，大部分的主流关系型数据库都提供了主从复制的功能，通过配置两台（或多台）数据库的主从关系，可以将一台数据库服务器的数据更新同步到另一台服务器上。网站可以利用数据库的这一功能， 实现数据库的读写分离，从而改善数据库的负载压力。 一个系统的读操作远远多于其写操作，因此写操作发向master，读操作发向slaves进行操作（简单的轮循算法来决定使用哪个slave）。 　　利用数据库的读写分离，web服务器在写数据的时候，访问著数据库（Master），主数据库通过主从复制机制将数据更新同步到从数据库（Slave），这样web服务器读数据的时候，就可以通过从数据库获得数据。这一方案使得在大量读操作的web应用可以轻松地读取数据，而主数据库也只会承受少量的写入操作，还可以实现数据热备份，可谓是一举两得的方案。 1.复制的基本原则 　　 MySQL复制是异步的且串行化的； 　　每个Slave只有一个Master； 　　每个Slave只有一个唯一的服务器ID； 　　每个Master可以有多个Slave； 2.一主一从常见配置： 　　MySQL版本一致且后台以服务运行； 　　主从都配置在[mysqld]结点下，都是小写，主机修改my

3 月，跳不动了？>>> 以下文章来源于SQL开发与优化，作者郑松华 大家好，我是知数堂SQL 优化班老师 网名：骑龟的兔子 很久没有写文章，最近碰到了一个非常有意思的Oracle SQL 案例， 这个案例，我用了一些窗口函数来解决的，后来想想，能否跟MySQL 有所关联，就用一个SQL,总结了@的常用用法。 首先我们看下，如下案例 with w1 as ( select 1 rn , 'cityhp01' mber_id from dual union all select 2 , 'uvis6921' mber_id from dual union all select 3 , 'uvis6921' mber_id from dual union all select 4 , 'moonhwa119' mber_id from dual union all select 5 , 'moonhwa119' mber_id from dual union all select 6 , 'b2500795' mber_id from dual union all select 7 , 'b2500795' mber_id from dual union all select 8 , 'b2500795' mber_id from dual union all select 9 ,

作者： 柯三 juejin.im/post/5e0443ae6fb9a0162277a2c3 送分题 面试官： 有操作过Linux吗? 我： 有的呀 面试官： 我想查看内存的使用情况该用什么命令 我： free 或者 top 面试官： 那你说一下用free命令都可以看到啥信息 我： 那，如下图所示 可以看到内存以及缓存的使用情况 total 总内存 used 已用内存 free 空闲内存 buff/cache 已使用的缓存 avaiable 可用内存 面试官： 那你知道怎么清理已使用的缓存吗(buff/cache) 我： em… 不知道 面试官： sync; echo 3 > /proc/sys/vm/drop_caches 就可以清理buff/cache了，你说说我在线上执行这条命令做好不好? 我： (送分题,内心大喜)好处大大的有，清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样，点一下，就释放出好多的内存 面试官： em…., 回去等通知吧 再谈SQL Join 面试官： 换个话题，谈谈你对join的理解 我： 好的（再答错就彻底完了，把握住机会) 回顾 SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端 join的方式有 inner join 内连接 left join 左连接 right join 右连接 full join

写在前面：最早接触的MySQL是在三年前，那时候MySQL还是4.x版本，很多功能都不支持，比如，存储过程，视图，触发器，更别说分布式事务等复杂特性了。但从5.0(2005年10月)开始，MySQL渐渐步入企业级数据库的行列了；复制、集群、分区、分布式事务，这些企业级的特性，使得现在的MySQL，完全可以应用于企业级应用环境(很多互联网公司都用其作为数据库服务器，尽管节约成本是一个因素，但是没有强大功能作后盾，则是不可想象的)。虽然，MySQL还有很多不足，比如，复制、分区的支持都十分有限、查询优化仍需要改进，但是MySQL已经是一个足够好的DBMS了，更何况它是opensource的。这段时间没有事，出于好奇，略微的研究了一下MySQL，积累了一些资料，欲总结出来。这些资料打算分为两部分，上部主要讨论MySQL的优化，其中主要参考了《MySQL Manual》和《High Performance MySQL》，如果有时间，以后在下部分析一下MySQL的源码。如果你是MySQL高手，希望你不吝赐教；如果你是新手，希望对你有用。 第一章、MySQL架构与概念 1、MySQL的逻辑架构 最上面不是MySQL特有的，所有基于网络的C/S的网络应用程序都应该包括连接处理、认证、安全管理等。 中间层是MySQL的核心，包括查询解析、分析、优化和缓存等。同时它还提供跨存储引擎的功能

(1)MyBaits是一个基于Java的持久层框架,支持普通或定制化SQL查询、存储过程以及高级映射,使用XML或注解来配置和映射信息。 (2)应用程序使用SQLSessionFactory实例,一个SQLSessionFactory实例可以通过SQLSessionFactoryBuilder获得。SQLSessionFactoryBuilder可以从一个xml配置文件或者一个预定义的配置类的实例获得。 (3)SQL写在xml里，便于统一管理和优化,解除SQL与程序代码的耦合,通过提供DAL层，将业务逻辑和数据访问逻辑分离，使系统的设计更清晰，更易维护,更易单元测试,提高了可维护性。 (4)提供映射标签,支持对象与数据库的orm字段关系映射,支持编写动态SQL,支持对象关系组建维护。 (5)总体流程:<1>加载配置并初始化<2>接收调用请求<3>处理操作请求<4>返回处理结果将最终的处理结果返回。 (6)处理过程: <1>根据SQL的ID查找对应的MappedStatement对象。 <2>根据传入参数对象解析MappedStatement对象,得到最终要执行的SQL和执行传入参数。 <3>获取数据库连接,根据得到的最终SQL语句和执行传入参数到数据库执行,并得到执行结果。 <4>根据MappedStatement对象中的结果映射配置对得到的执行结果进行转换处理

一、MyBatis的简介 　　 MyBatis 是支持定制化 SQL、存储过程以及 高级映射 的优秀的持久层框架。 　 MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。 MyBatis可以使用简单的XML或注解用于配置和原始映射， 将接口和Java的POJO（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录 . 二、MyBatis的历史 　 　原是apache的一个开源项目iBatis, 2010年6月这个项目由apache software foundation 迁移到了google code，随着开发团队转投Google Code旗下，ibatis3.x正式更名为Mybatis ，代码于2013年11月迁移到Github。 　　iBATIS一词来源于“internet”和“abatis”的组合，是一个基于Java的持久层框架。iBATIS提供的持久层框架包括SQL Maps和Data Access Objects(DAO) 　　 三、MyBatis的基本说明 　　(1)、MyBatis是一个工作在持久层的框架,它 不再是一个标准的ORM框架 　　　　 我们先看看Hibernate是如何对数据库进行操作 　　 我们再来看看Mybatis如何对数据库进行操作 　 　因为它只管理了SQL语句和Java之间的关联和映射

Mybatis 一. 入门 1. JDBC 回顾 (1). 准备数据库 新建 mybatis_learn 数据库 执行 sql 脚本 1 -- ---------------------------- 2 -- Table structure for `Blog` 3 -- ---------------------------- 4 DROP TABLE IF EXISTS `Blog`; 5 CREATE TABLE `Blog` ( 6 `id` int(11) NOT NULL AUTO_INCREMENT, 7 `author` varchar(128) NOT NULL COMMENT '作者', 8 `title` varchar(128) NOT NULL COMMENT '博客标题', 9 PRIMARY KEY (`id`) 10 ) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8; 11 ​ 12 -- ---------------------------- 13 -- Records of Blog 14 -- ---------------------------- 15 INSERT INTO `Blog` VALUES ('1', '张三', 'Java基础概述'); 16 INSERT

数据库优化 建表优化 1）数据库范式 l 第一范式（1NF）：强调的是列的原子性，即列不能够再分成其他几列。 如电话列可进行拆分---家庭电话、公司电话 l 第二范式（2NF）：首先是 1NF，另外包含两部分内容，一是表必须有主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分。 l 第三范式（3NF）：首先是 2NF，另外非主键列必须直接依赖于主键，不能存在传递依赖。 比如 Student 表（学号，姓名，年龄，性别，所在院校，院校地址，院校电话） 这样一个表结构，就存在上述关系。 学号 --> 所在院校 --> ( 院校地址，院校电话 ) 这样的表结构，我们应该拆开来，如下。 （学号，姓名，年龄，性别，所在院校） -- （所在院校，院校地址，院校电话） 满足这些规范的数据库是简洁的、结构明晰的；同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常。 2）数据类型选择 l 数字类型 Float 和 double 选择（尽量选择 float ） 区分开TINYINT / INT / BIGINT，能确定不会使用负数的字段，建议添加 unsigned定义 能够用数字类型的字段尽量选择数字类型而不用字符串类型的 l 字符类型 char,varchar,TEXT的选择：非万不得已不要使用 TEXT 数据类型，定长字段，建议使用

创建 test 测试表 CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c1` varchar(10) DEFAULT NULL, `c2` varchar(10) DEFAULT NULL, `c3` varchar(10) DEFAULT NULL, `c4` varchar(10) DEFAULT NULL, `c5` varchar(10) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_test_c1234` (`c1`,`c2`,`c3`,`c4`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into `test` (`id`, `c1`, `c2`, `c3`, `c4`, `c5`) values('1','a1','a2','a3','a4','a5'); insert into `test` (`id`, `c1`, `c2`, `c3`, `c4`, `c5`) values('2','b1','b2','b3','b4','b5'); insert into `test` (`id`, `c1`, `c2`, `c3`, `c4`, `c5`) values('3','c1','c2','c3',