mysql查询重复记录

今天我们用10分钟，重点梳理一遍以下几方面： 数据库知识点汇总； 数据库事务特性和隔离级别； 详解关系型数据库、索引与锁机制； 数据库调优与最佳实践； 面试考察点及加分项。 一、数据库的不同类型 1.常用的关系型数据库 Oracle：功能强大，主要缺点就是贵 MySQL：互联网行业中最流行的数据库，这不仅仅是因为MySQL的免费。可以说关系数据库场景中你需要的功能，MySQL都能很好的满足，后面详解部分会详细介绍MySQL的一些知识点 MariaDB：是MySQL的分支，由开源社区维护，MariaDB虽然被看作MySQL的替代品，但它在扩展功能、存储引擎上都有非常好的改进 PostgreSQL：也叫PGSQL，PGSQL类似于Oracle的多进程框架，可以支持高并发的应用场景，PG几乎支持所有的SQL标准，支持类型相当丰富。PG更加适合严格的企业应用场景，而MySQL更适合业务逻辑相对简单、数据可靠性要求较低的互联网场景。 2.NoSQL数据库（非关系型数据库） Redis：提供了持久化能力，支持多种数据类型。Redis适用于数据变化快且数据大小可预测的场景。 MongoDB：一个基于分布式文件存储的数据库，将数据存储为一个文档，数据结构由键值对组成。MongoDB比较适合表结构不明确，且数据结构可能不断变化的场景，不适合有事务和复杂查询的场景。 HBase：建立在HDFS

数据库优化 建表优化 1）数据库范式 l 第一范式（1NF）：强调的是列的原子性，即列不能够再分成其他几列。 如电话列可进行拆分---家庭电话、公司电话 l 第二范式（2NF）：首先是 1NF，另外包含两部分内容，一是表必须有主键；二是没有包含在主键中的列必须完全依赖于主键，而不能只依赖于主键的一部分。 l 第三范式（3NF）：首先是 2NF，另外非主键列必须直接依赖于主键，不能存在传递依赖。 比如 Student 表（学号，姓名，年龄，性别，所在院校，院校地址，院校电话） 这样一个表结构，就存在上述关系。 学号 --> 所在院校 --> ( 院校地址，院校电话 ) 这样的表结构，我们应该拆开来，如下。 （学号，姓名，年龄，性别，所在院校） -- （所在院校，院校地址，院校电话） 满足这些规范的数据库是简洁的、结构明晰的；同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常。 2）数据类型选择 l 数字类型 Float 和 double 选择（尽量选择 float ） 区分开TINYINT / INT / BIGINT，能确定不会使用负数的字段，建议添加 unsigned定义 能够用数字类型的字段尽量选择数字类型而不用字符串类型的 l 字符类型 char,varchar,TEXT的选择：非万不得已不要使用 TEXT 数据类型，定长字段，建议使用

前言：前面介绍了Java、JVM相关方面的题目，该篇介绍数据库方面相关的题目，这里数据库为MySql，因为笔者或朋友在面试过程中都是涉及MySql的相关知识点。 数据库篇 在数据库题目中，由于现在大部分公司都是使用MySql作为数据库，因此笔者及其朋友所遇到的问题也都是MySql相关的知识点。 1）MySql中索引的基本定义，优劣势，以及索引优化。 索引是帮助Mysql高效获取数据的 数据结构 ，因此，索引的 本质 就是数据结构，索引的目的在于提高 查询 效率，可类比字典。 索引： 排好序的快速查找的数据结构。 用途： 排序 + 快速查找 。注意，是两种功能。 数据库除了存储数据本身之外，还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据，这样就可以在这些数据结构的基础上实现高级查找算法，这种 数据结构 就是索引。 MySql索引通常是指 B+树 索引。 索引优势： 类似书籍的目录，提高数据检索的效率，降低数据库的 IO 成本（因为数据最终是存储在 磁盘 上的）。 通过索引列对数据进行排序，降低数据排序的成本，降低了 CPU 的消耗（因为排好序，查询速度增加）。 索引劣势： 索引也是 一张表 ，保存了主键与索引字段，并指向实体表的记录，所以索引列也是要 占用磁盘空间的 。 虽然提高了 查询速度 ，但是会 降低更新速度（因为数据更新后，需要重新对索引排序） ，如

MySQL 处理重复数据 sMySQL 处理重复数据 有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。 本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。 防止表中出现重复数据 你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。 让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。 CREATE TABLE person_tbl ( first_name CHAR(20), last_name CHAR(20), sex CHAR(10) ); 如果你想设置表中字段first_name，last_name数据不能重复，你可以设置双主键模式来设置数据的唯一性， 如果你设置了双主键，那么那个键的默认值不能为NULL，可设置为NOT NULL。如下所示： CREATE TABLE person_tbl ( first_name CHAR(20) NOT NULL, last_name CHAR(20) NOT NULL, sex CHAR(10), PRIMARY KEY (last_name, first_name) ); 如果我们设置了唯一索引，那么在插入重复数据时，SQL语句将无法执行成功

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。 防止表中出现重复数据 你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。 CREATE TABLE person_tbl ( first_name CHAR(20), last_name CHAR(20), sex CHAR(10) ); 如果你想设置表中字段first_name，last_name数据不能重复，你可以设置双主键模式来设置数据的唯一性， 如果你设置了双主键，那么那个键的默认值不能为NULL，可设置为NOT NULL。如下所示： CREATE TABLE person_tbl ( first_name CHAR(20) NOT NULL, last_name CHAR(20) NOT NULL, sex CHAR(10), PRIMARY KEY (last_name, first_name) ); 如果我们设置了唯一索引，那么在插入重复数据时，SQL语句将无法执行成功,并抛出错。 INSERT IGNORE INTO与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据

MySQL 处理重复数据 有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。 本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。 防止表中出现重复数据 你可以在 MySQL 数据表中设置指定的字段为 PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。 让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。 CREATE TABLE person_tbl ( first_name CHAR(20), last_name CHAR(20), sex CHAR(10) ); 如果你想设置表中字段 first_name，last_name 数据不能重复，你可以设置双主键模式来设置数据的唯一性， 如果你设置了双主键，那么那个键的默认值不能为 NULL，可设置为 NOT NULL。如下所示： CREATE TABLE person_tbl ( first_name CHAR(20) NOT NULL, last_name CHAR(20) NOT NULL, sex CHAR(10), PRIMARY KEY (last_name, first_name) ); 如果我们设置了唯一索引，那么在插入重复数据时，SQL 语句将无法执行成功,并抛出错。

脏读 出现脏读需要mysql设置事务隔离级别为 read uncommited 。 有两个session，A和B，现在A开启事务，假设有一条记录为， id=1，name=zhangsasn，money=1000 现在A做更新操作，把money增加200，但是还未提交事务。 此时B开启事务，进行了查询操作，B查询的结果就会money=1200，B进行修改操作，将money减少100，提交事务。那么B查询的结果就是money=1100 之后，A并没有提交事务，而是因为某种情况回滚了事务，那么A查询的结果是money=1200。 脏读就产生了。 在数据库层面防止脏读 只需要将mysql的隔离级别设置为read commited及以上就能防止脏读的产生 不可重复读 将事务的隔离级别设置为 read commited 有两个session，A和B，现在A开启事务，假设有一条记录为， id=1，name=zhangsasn，money=1000 A查询这条记录money=1000，此时B开启事务，并进行修改这条记录的money=1200，B提交事务。 A再次查询，此时money=1200。这就出问题了，A并没有提交事务，但是第二次读到的数据跟第一次竟然不一样，就算查询语句后面加上 lock in share mode 也没用。 这就是不可重复读。 在数据库层面防止不可重复读

今天遇到一个问题，数据表的数据有重复的，关键原因在于新增数据时，没有根据条件先判断数据是否存在，当数据存在时进行有关条件的更新，不存在时做新增数据。 对于表中已经存在的数据处理办法的方法： 1.先根据条件进行统计数据重复率。 2.查询那一些数据是重复的，将重复数据放在一张表中用于条件对比将源数据中的重复数据删除（mysql中使用一张表，sqlserver中可以使用临时表或者表变量存放数据）。 3.根据条件关联将重复数据删除。 可以先查询重复数据的总数： select sum(count) from( select bidsectioncode,count(bidsectioncode) as count from businessdata.business_bidsection group by bidsectioncode having count>1 order by create_time desc ) as d; 查出数据库中的重复记录的数据中的一条，这个不难，很简单的，sql语句如下： select * from businessdata.business_bidsection where bidsectioncode in (select bidsectioncode from businessdata.business_bidsection group by

索引是特殊的数据结构，它以易于遍历的形式存储部分集合数据集。索引存储特定字段或字段集的值，按字段值排序。 MongoDB的索引几乎与传统的关系型数据库索引一模一样，它的主键 _id 也是一个索引，MongoDB的数据按照 _id 的顺序存储在内存页与磁盘块上。但是， _id 与业务毫无关联，在业务相关的条件查询时，还是需要进行全表扫描才能找到对应页，效率并不高。 为了避免性能瓶颈，可以根据常用的查询建立索引 索引的值是按照一定的顺序排列的，使用索引键对文档进行排序效率非常高，只需要按照索引读取数据即可。 不过，使用索引也是有代价的，不仅会增加磁盘与内存的消耗，对于添加的每一个索引，每次写操作（插入、更新、删除）都会耗费更多时间，这是因为，数据发生变动时，还需要额外的开销更新索引。 文章目录 聚簇索引与非聚簇索引 MongoDB索引分类 主键索引 单字段索引 复合索引 复合索引与排序共用 唯一索引 复合唯一索引 去除重复 稀疏索引 TTL索引 全文索引 地理空间索引 索引优化 查询优化 写操作优化 聚簇索引与非聚簇索引 磁盘上的数据某一时刻只能有一种排序方式，而聚簇索引的特点是：索引顺序与数据存储顺序一致，所以聚簇索引只能有一个。 《数据库原理》中对聚簇索引的定义：聚簇索引的叶子节点是数据节点，非聚簇索引的叶子节点仍然是索引节点，只不过有指向对应数据块的指针。

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 四个概念： 数据丢失、脏读、不可重复读、幻读 数据丢失，两个事务同时进行，一个成功一个失败，造成数据回滚，或者两个都成功造成数据覆盖 从这个概念，就可以看出事务隔离的必要性，如果没有的话很容易产生这个严重的问题 脏读：在一个事务里面，读取到另一个事务还没提交的数据 不可重复读：一个事务内两次读同一个数据，可能发生变化（一般指该数据事务期间被别的事务修改，理解对一条数据操作） 幻读：一个事务内两次查询数据不一致（条件查询，理解多条数据，其他事务有新增或者删除） 事务隔离分为4个级别 1.read uncommit （读未提交），存在脏读、不可重复度问题、幻读 2.read commit （读已提交），存在不可重复读、幻读 3.repeatable read（可重复读），存在幻读 4.serialable（串行化），没有上面的问题，但性能过低 mysql，默认使用 rr 级别，它通过 mvvc 解决可重复读问题 ，通过 next-key 解决了幻读的问题，next-key 包含 记录锁和 间隙锁 关于 mysql 锁可以参考这篇文章 https://www.linuxidc.com/Linux/2018-11/155501.htm 来源： oschina 链接： https://my.oschina.net