数据库性能

1、MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色，根据官方提供的性能测试表明，大约每秒可以处理0.5万~1.5万次读写请求。MongoDB还自带了一个出色的分布式文件系统GridFS，可以支持海量的数据存储。 MongoDB也有一个Ruby的项目MongoMapper，是模仿Merb的DataMapper编写的MongoDB接口，使用起来非常简单，几乎和DataMapper一模一样，功能非常强大。 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 所谓“面向集合”（Collenction-Orented），意思是数据被分组存储在数据集中，被称为一个集合（Collenction)。每个 集合在数据库中都有一个唯一的标识名

特别说明： 1、 本文只是面对数据库应用开发的程序员，不适合专业 DBA ， DBA 在数据库性能优化方面需要了解更多的知识； 2、 本文许多示例及概念是基于 Oracle 数据库描述，对于其它关系型数据库也可以参考，但许多观点不适合于 KV 数据库或内存数据库或者是基于 SSD 技术的数据库； 3、 本文未深入数据库优化中最核心的执行计划分析技术。 读者对像： 开发人员： 如果你是做数据库开发，那本文的内容非常适合，因为本文是从程序员的角度来谈数据库性能优化。 架构师： 如果你已经是数据库应用的架构师，那本文的知识你应该清楚 90% ，否则你可能是一个喜欢折腾的架构师。 DBA （数据库管理员）： 大型数据库优化的知识非常复杂，本文只是从程序员的角度来谈性能优化， DBA 除了需要了解这些知识外，还需要深入数据库的内部体系架构来解决问题。 引言 在网上有很多文章介绍数据库优化知识，但是大部份文章只是对某个一个方面进行说明，而对于我们程序员来说这种介绍并不能很好的掌握优化知识，因为很多介绍只是对一些特定的场景优化的，所以反而有时会产生误导或让程序员感觉不明白其中的奥妙而对数据库优化感觉很神秘。 很多程序员总是问如何学习数据库优化，有没有好的教材之类的问题。在书店也看到了许多数据库优化的专业书籍，但是感觉更多是面向 DBA 或者是 PL/SQL 开发方面的知识

转载： 对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题， 但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和同步吧。 为了更好的理解并发和同步，我们需要先明白两个重要的概念: 同步和异步 1、同步和异步的区别和联系 　　所谓同步，可以理解为在执行完一个函数或方法之后，一直等待系统返回值或消息，这时程序是出于阻塞的，只有接收到 返回的值或消息后才往下执行其它的命令。 异步，执行完函数或方法后，不必阻塞性地等待返回值或消息，只需要向系统委托一个异步过程，那么当系统接收到返回 值或消息时，系统会自动触发委托的异步过程，从而完成一个完整的流程。 同步在一定程度上可以看做是单线程，这个线程请求一个方法后就待这个方法给他回复，否则他不往下执行(死心眼)。 异步在一定程度上可以看做是多线程的(废话，一个线程怎么叫异步)，请求一个方法后，就不管了，继续执行其他的方法。 　　 同步就是一件事，一件事情一件事的做。 异步就是，做一件事情，不引响做其他事情。 例如：吃饭和说话，只能一件事一件事的来，因为只有一张嘴。 但吃饭和听音乐是异步的，因为，听音乐并不引响我们吃饭。 对于Java程序员而言，我们会经常听到同步关键字synchronized，假如这个同步的监视对象是类的话

当 MySQL 单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHAR的长度只分配真正需要的空间 使用枚举或整数代替字符串类型 尽量使用TIMESTAMP而非DATETIME， 单表不要有太多字段，建议在20以内 避免使用NULL字段，很难查询优化且占用额外索引空间 用整型来存IP 索引 索引并不是越多越好，要根据查询有针对性的创建，考虑在WHERE和ORDER BY命令上涉及的列建立索引，可根据EXPLAIN来查看是否用了索引还是全表扫描 应尽量避免在WHERE子句中对字段进行NULL值判断，否则将导致引擎放弃使用索引而进行全表扫描 值分布很稀少的字段不适合建索引，例如"性别"这种只有两三个值的字段 字符字段只建前缀索引 字符字段最好不要做主键 不用外键，由程序保证约束 尽量不用UNIQUE，由程序保证约束 使用多列索引时主意顺序和查询条件保持一致

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 在EF中我们可以通过Linq来操作实体类，但是有些时候我们必须通过原始sql语句或者存储过程来进行查询数据库，所以我们可以通过EF Code First来实现，但是SQL语句和存储过程无法进行映射，于是我们只能手动通过上下文中的SqlQuery和ExecuteSqlCommand来完成。 SqlQuery sql语句查询实体 通过DbSet中的SqlQuery方法来写原始sql语句返回 实体实例 ，如果是通过Linq查询返回的那么返回的对象将被上下文（context）所跟踪。 首先给出要操作的Student（学生类），对于其映射这里不再叙述，本节只讲查询。 public class Student { public int ID { get ; set ; } public string Name { get ; set ; } public int Age { get ; set ; } } 如果我们要查询学生表（Student）所有数据应该如何操作呢？下面我们通过代码来进行演示： EntityDbContext ctx = new EntityDbContext(); SqlParameter[] parameter = { }; ctx.Database.SqlQuery <Student>( "

参考网站： http://www.liyblog.top/p/6 这里总结了52条对sql的查询优化，下面详细来看看，希望能帮助到你 1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2，应尽量避免在 where 子句中对字段进行 null 值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默 认值。 3，应尽量避免在 where 子句中使用!=或<>操作符， MySQL只有对以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE。 4，应尽量避免在 where 子句中使用 or 来连接条件， 否则将导致引擎放弃使用索引而进行全表扫描， 可以 使用UNION合并查询： select id from t where num=10 union all select id from t where num=20 5，in 和 not in 也要慎用，否则会导致全表扫描，对于连续的数值，能用 between 就不要用 in 了：Select id from t where num between 1 and 3 6，下面的查询也将导致全表扫描：select id from t where name like ‘%abc%’

参考网站： http://www.liyblog.top/p/6 这里总结了52条对sql的查询优化，下面详细来看看，希望能帮助到你 1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2，应尽量避免在 where 子句中对字段进行 null 值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默 认值。 3，应尽量避免在 where 子句中使用!=或<>操作符， MySQL只有对以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE。 4，应尽量避免在 where 子句中使用 or 来连接条件， 否则将导致引擎放弃使用索引而进行全表扫描， 可以 使用UNION合并查询： select id from t where num=10 union all select id from t where num=20 5，in 和 not in 也要慎用，否则会导致全表扫描，对于连续的数值，能用 between 就不要用 in 了：Select id from t where num between 1 and 3 6，下面的查询也将导致全表扫描：select id from t where name like ‘%abc%’

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 应用系统上线运行后，随着系统数据量的不断增长、访问量的不断上升，系统的响应速度通常会越来越慢，尤其日常峰值情况下常不能满足业务需要，甚至出现应用服务中断的现象，给企业造成巨大的品牌损失和经济损失。大量数据表明，每0.1秒的核心体验响应时间延长会导致1%的营收下降。企业应用系统上云，如何在云端利用云的优势进行性能优化，是一个值得深入分析的重点问题。 性能优化的价值与策略 1、性能优化价值 性能是一个应用系统最重要的指标，除非没有选择，否则没有用户会忍受一个响应缓慢的应用系统或网站。大量数据表明，每0.1秒的核心体验响应时间延长会导致1%的营收下降。 应用系统上线运行后，随着系统数据量的不断增长、访问量的不断上升，系统的响应速度通常会越来越慢，尤其峰值情况下常不能满足业务需要，甚至出现应用服务中断，给企业造成巨大的品牌损失和经济损失，因此性能优化会显得至关重要。 通过性能优化，可以用更少的硬件资源，支撑更大量的业务发展，从而达到节省硬件成本的目的；同时，可以在有限资源的情况下，提升系统的响应能力，为用户带来更好的使用体验，促进业务增长。 2、性能优化策略 对于应用系统来说，用户从浏览器发出请求到数据库完成事务操作，中间需要经过很多环节，如果系统响应慢，必须对请求经过的各个环节进行分析，排查可能出现性能瓶颈的地方

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1）数据库设计方面： a. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id from t where num=0 c. 并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时,查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。 d. 索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。 e. 应尽可能的避免更新索引数据列，因为索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在讲这个问题之前，说一种现象，大家可能会经常遇到这样的情况感觉数据库好慢啊，数据库cpu咋这么高，内存好像不够用了，应该咋办呢，很多同学一脸茫然，也有少部分同学能说建索引，读写分离，分库分表这样大而化之的优化策略，那具体到执行层面如何细化呢？相信绝大多数测试同学已经进入盲区，数据库的优化是从定性到定量的过程，比如是否沿着索引查询，扫描减少了多少行，文件排序减少没，tps提升多少等等，今天就从sql本身给大家剖析数据库执行计划。 数据库执行计划是啥意思？在我看来，就是告诉我这条sql需要做什么，它是怎么做的，通过执行计划我们能分析出sql的性能以及改进思路。我们以主流的mysql为例，给大家举例如何做执行计划； 在mysql中，执行计划在sql语句前加上explain即可，如图1，大家已经看到出现了很多行， 图1 我先逐行解释下字面意思 Id 代表select语句的编号，相当于标识作用； Select_type 查询类型，常见的例如：simple（不含子查询），primary（含子查询或派生查询）； Table 所查询的表； Partitions 一般查看表分区情况； Type 查询方式，数据库性能诊断的重要依据，一般有all,index,ref,eq_ref,这一行是重点，大家先记住很重要！ Possible