SQL 重复记录查询与相关处理
1、背景：某次遇到需要根据EXCEL表中数据更新MS SQL数据库某张表的记录的情况。由于EXCEL表中数据记录数较大，直接在SQL脚本中处理太繁锁，就新建一个数据库临时表，然后直接将EXCEL表中记录复制后，在临时表编辑状态下直接粘贴进去，然后通过SQL脚本关联临时表更新记录。
2、问题：将数据粘贴到SQL临时表中后，更新操作时数据不对，分析发现临时表中有两行数据完全相同记录，现在如果直接修改这两行记录中的任意一行，让其变为不完全相同，不管是直接在表编辑状态下修改，还是通过脚本简单UPDATE，都无法实现。
查询重复记录项：select Amoeba,Trading from temp_AMB_AmoebaTradingScope group by Amoeba,Trading having count(*)>1
3、解决思路：
（1）先删除临时表，并在数据复制到临时表中前，先在EXCEL中进行去除重复处理，保证粘贴到临时表中的记录无完全相同的情况。
创建表：create table temp_AMB_AmoebaTradingScope (Amoeba nvarchar(20),Trading nvarchar(20))
删除表：drop table temp_AMB_AmoebaTradingScope
（2）如果在这个（临时）表由于实际业务情况，已经不能删除，那么可以在临时表中增加一个字段，且新增的字段值保证不会重复。这样就不会再存在有完全相同的行记录了，然后再通过脚本或者直接在表编辑界面删除多余的行记录。
4、这里汇总一下SQL中重复记录查询与处理的几种方法：
转至：https://www.cnblogs.com/fengyh/p/10646774.html
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
代码如下:
select * from people
where peopleId in (select peopleId from people group by peopleId having count
(peopleId) > 1)
2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录
代码如下:
delete from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
and rowid not in (select min(rowid) from people group by peopleId having count(peopleId)>1)
3、查找表中多余的重复记录（多个字段）
代码如下:
select from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(
) > 1)
4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
代码如下:
delete from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count() > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(
)>1)
5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
代码如下:
select from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(
) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方说
在A表中存在一个字段“name”，
而且不同记录之间的“name”值有可能会相同，
现在就是需要查询出在该表中的各记录之间，“name”值存在重复的项；
代码如下:
Select Name,Count() From A Group By Name Having Count() > 1
如果还查性别也相同大则如下:
代码如下:
Select Name,sex,Count() From A Group By Name,sex Having Count() > 1
(三)
方法一
代码如下:
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count() from 表名 group by 主字段 having count() >1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重
复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用
代码如下:
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
代码如下:
select distinct into #Tmp from tableName
drop table tableName
select
into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
代码如下:
select identity(int,1,1) as autoID, into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select
from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写
在select子句中省去此列）
(四)查询重复
代码如下:
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)
来源：oschina
链接：https://my.oschina.net/u/4385631/blog/4423719