import csv
# 创建临时文件temp.csv找出所需要的列
temp_file = open("temp.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入
temp_csv_writer = csv.writer(temp_file, dialect="excel")
# 读取input.csv文件,此时只有指定的一列数据
with open('input.csv') as file:
temp_readcsv = csv.reader(file, delimiter=',')
for row in temp_readcsv: # 取出input.csv所有列数据
temp = [row[3]] # 得到指定列数据
# print(row[3]) #print()打印input.csv文件中第3列所有数据
temp_csv_writer.writerow(temp) # 第3列每行数据循环写入temp.csv文件中
temp_file.close()
# 在临时文件基础上匹配所要找的数据,计算出次数生成out.csv文件
out1 = [] # 新建数组来保存指定列的每行数据
out_time = [] # 新建数组来保存指定列的每行数据出现的次数
out_file = open("out.csv", "w", newline='') # 如果不指定newline='',则每写入一行将有一空行被写入
out_csv_writer = csv.writer(out_file, dialect="excel")
out_csv_writer.writerow(["ID", "TIMES"]) # 写入标题 数据,出现次数
# 读取temp.csv文件,此时只有指定的一列数据
with open('temp.csv') as file2:
out_readcsv = csv.reader(file2, delimiter=',')
for St in out_readcsv: # 循环取出列的每行数据
out1.append(St) # append()将列的每行数据变为out1链表(list)的后续增加的元素,即将列数据变为一维数组。
print(out1) # 打印out1[n]的第n个元素,即原列的第n行元素
# list的迭代其实是以list中项的序列号来遍历的,不会因为list的的改变而改变,
# 永远都是按照序号的0,1,2...遍历。当删除其中某一项时,它之后的每一项的序列号各往前移一项.
# 当遍历list时,若发现0项是重复项(因为内嵌函数均处理第一个发现项),于是将其移除。当移除0项时,
# 原来的1项变为0项,以此类推。此时list迭代由1开始(0项已过),但此时的1项是原list的2项,这样子就漏掉原list的1项!
# 可以将list反转来进行删除操作,其本质就是放当发现某项具有重复项时,就从后往前删除。
# 比如迭代0项发现1项是它的重复项,那么就删除1项,删除1项后2项变1项,而此时list迭代正则到了1项。
# 从原始list的角度上来说,就跳过了1项。但是它却不影响去重,因为它跳过的是重复项。
# list的不重复迭代反而使去重效率更高且不会漏掉不重复项。因此原始list直接去重的核心问题不是迭代的漏项,而是迭代不能漏掉不重复项。
for i in out1:
a = out1.count(i) # 取元素
out_time.append(a) # 得到出现的次数
# print(i, a)
if a > 1:
out1.reverse() # 将list反转来进行删除操作
for k in range(1, a):
out1.remove(i) # 从后往前删除直到最前面的第一个为止,这样即删除了后面的,又保留了第一个!
out1.reverse() # 将list再反转回来,保证下次循环又是从原始顺序来删除
print(out1) # 此时out1链表(list)即去重后的list
print(out_time) # 元素出现的次数
for j in range(len(out1)): # len()得到out1链表元素个数,依此作为time[]查找下标
out_row = [out1[j], out_time[j]] # 取元素和对应的次数
out_csv_writer.writerow(out_row) # 写入out.csv文件里
out_file.close()
pythoncsv文件怎么去重 python对csv去除重复行
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
几行Python代码,轻松搞定Excel表格数据去重
用几行Python代码,轻松搞定Excel表格数据去重
数据 原始数据 数据处理 Python处理数据 -
python十行代码实现文件去重,去除重复文件的脚本
、获取全套视频资料......
python 文件路径 redis