最近2天需要删除一些sqlserver里的数据。于是查了资料,得到以下的一些信息,看起来应该挺有用。不过还没有一一试验,先转过来,有时间的时候看看。呵呵
SQL Server中删除重复数据:
《-》
由于种种原因,在数据库中出现了我们不希望出现的重复数据,当对这些重复的数据进行删除的时候有许多种方法。我发现在网上流行的一种方法是利用临时表的方法,sql脚本如下:
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
该方法首先使用select distinct命令将不重复的列表数据写入到临时表#Tmp中,然后删除原来的表,再将临时表中的数据写入到tableName中,最后删除临时表。
但是这种方法执行效率是一个方面,另外如果数据库中有text类型的字段的话将不能执行,非常的有局限性。
下面提供一个通用的方法并且执行效率也是非常不错的,教本如下:
下载: cleanRepeatedRows2.sql
declare @max int,@rowname varchar(400)
declare cur_rows cursor local for
select repeatedrow,count(*) from tableName group by repeatedrow having count(*) > 1
open cur_rows
fetch cur_rows into @rowname ,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from tableName where repeatedrow = @rowname
fetch cur_rows into @rowname ,@max
end
close cur_rows
set rowcount 0简单说明一下:首先声明了两个变量,一个是记录重复的数量,另外一个是记录重复字段的值,变量的类型以及长度可根据你实际的字段进行定义;接下来声明一个游标,该游标主要是列出重复的数据以及重复的数量;然后打开游标并从中取出数据,其中“select @max = @max -1”这句的意思是保留一条重复数据,剩下的逐一删除;最后关闭游标,搞定。
执行完教本之后可以使用下面的教本检查是否含有重复的数据:
select repeatedrow,count(*) from tableName group by repeatedrow having count(*) > 1
《二》
数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
删除数据的方法:
如果你的硬盘空间小,并且不想设置数据库的日志为最小(因为希望其他正常的日志希望仍然记录),而且对速度要求比较高,并清除所有数据的建议你用turncate table1,因为truncate 是DDL操作,不产生rollback,不写日志速度快一些,然后如果有自增的话,恢复到1开始,而delete会产生rollback,如果删除大数据量的表速度会很慢,同时会占用很多的rollback segments,同时还要记录下G级别的日志 ;当然如果有条件删除比如where time<'2006-3-10' 怎么办,能不能不记录日志用delete,回答是不行的,SQLServer引擎在设计上就会对Delete操作进行日志记录。至今没有办法强制制定某一些语句不记录到日志中,如果在执行DeleteTable1whereTime<'2006-3-10'由于涉及的记录比较多,所以日志记录也相应很大(3-4G),如果可行,我建议用以下方式: 选出您所需要保留的记录到新的表。如果您使用FullRecoveryMode 根据SELECTINTO的记录数,日志可能会比较大 Select*intoTable2FromTable1WhereTime>='2006-03-10' 然后直接TruncateTable1。无论何种恢复模式都不会进行日志记录 TruncatetableTable1 最后对Table2进行改名为Table1 ECsp_rename'Table2','Table1' 常用语句: 1、清空日志 DUMP TRANSACTION 库名 WITH NO_LOG BACKUP LOG 数据库名 WITH NO_LOG DBCC SHRINKDATABASE(客户资料) DROP TABLE mytable 5、删除表中所有记录 DELETE FROM mytable 6、删除所有表的数所有数据,保留结构、对象等的方法,标识列ID从0开始。
2、截断事务日志
3、收缩数据库
4、删除整个表
TRUNCATE TABLE mytable