Oracle
1.查询某字段重复数据
select
字段1,字段2,
count
(*)
from
表名
group
by
字段1,字段2
having
count
(*) > 1
2.删除重复数据的SQL(删除所有):
delete
from
表名 a
where
字段1,字段2
in
(
select
字段1,字段2,
count
(*)
from
表名
group
by
字段1,字段2
having
count
(*) > 1)
上面的SQL注意:语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。
建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:
CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
上面这句话就是建立了临时表,并将查询到的数据插入其中。
下面就可以进行这样的删除操作了:
delete
from
表名 a
where
字段1,字段2
in
(
select
字段1,字段2
from
临时表);
3.留下一条记录
oracle中,有个隐藏了自动rowid,里面给每条记录一个唯一的rowid,我们如果想保留最新的一条记录,我们就可以利用这个字段,保留重复数据中rowid最大的一条记录就可以了。
使用ROWID查询重复数据:
select
a.rowid,a.*
from
表名 a
where
a.rowid !=
(
select
max
(b.rowid)
from
表名 b
where
a.字段1 = b.字段1
and
a.字段2 = b.字段2 )
括号中的SQL查询出rowid最大的记录,而外面就是查询出除了rowid最大之外的其他重复的数据了。由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:
删除重复数据(留下最大ROWID的一条)
delete
from
表名 a
where
a.rowid !=
(
select
max
(b.rowid)
from
表名 b
where
a.字段1 = b.字段1
and
a.字段2 = b.字段2 )
删除重复数据(留下最小ROWID的一条)
delete
tab t
where
t.rowid > (
select
min
(t2.rowid)
from
tab t2
where
t.col2 = t2.col2
and
t.col8 = t2.col8
)
当然,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。
create
table
临时表
as
select
a.字段1,a.字段2,
MAX
(a.ROWID) dataid
from
正式表 a
GROUP
BY
a.字段1,a.字段2;
delete
from
表名 a
where
a.rowid !=
(
select
b.dataid
from
临时表 b
where
a.字段1 = b.字段1
and
a.字段2 = b.字段2 );
commit
;
4.对于完全重复记录的删除
对于表中两行记录完全一样的情况,可以用下面语句获取到去掉重复数据后的记录:
select
distinct
*
from
表名
可以将查询的记录放到临时表中,然后再将原来的表记录删除,最后将临时表的数据导回原来的表中。如下:
CREATE
TABLE
临时表
AS
(
select
distinct
*
from
表名);
truncate
table
正式表;
insert
into
正式表 (
select
*
from
临时表);
drop
table
临时表;
MySQL
1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断
select
*
from
table
where
tableId
in
(
select
tableId
from
table
group
by
tableId
having
count
(tableId) > 1)
2.删除表中多余的重复记录,重复记录是根据单个字段(tableId)来判断,只留有rowid最小的记录。
delete
from
table
where
tableId
in
(
select
tableId
from
table
group
by
tableId
having
count
(tableId) > 1)
and
rowid
not
in
(
select
min
(rowid)
from
table
group
by
tableId
having
count
(tableId )>1)
3.查找表中多余的重复记录(多个字段)
select
*
from
vitae a
where
(a.tableId,a.seq)
in
(
select
tableId,seq
from
vitae
group
by
tableId,seq
having
count
(*) > 1)
4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录
delete
from
vitae a
where
(a.tableId,a.seq)
in
(
select
tableId,seq
from
vitae
group
by
tableId,seq
having
count
(*) > 1)
and
rowid
not
in
(
select
min
(rowid)
from
vitae
group
by
tableId,seq
having
count
(*)>1)
5.查找表中多余的重复记录(多个字段),不包含rowid最小的记录
select
*
from
vitae a
where
(a.tableId,a.seq)
in
(
select
tableId,seq
from
vitae
group
by
tableId,seq
having
count
(*) > 1)
and
rowid
not
in
(
select
min
(rowid)
from
vitae
group
by
tableId,seq
having
count
(*)>1)