python json去重复 python去掉重复数据

导入pandas

import pandas as pd

1.读取excel中的数据；

frame = pd.DataFrame(pd.read_csv('excel的绝对路径.csv'’, 'Sheet1'))

2.去除重复行后的数据;

data = frame.drop_duplicates(subset=’’, keep='first', inplace=’’)
drop_duplicates用法：subset=‘需要去重复的列名’, keep=‘遇到重复的时保留第一个还是保留最后一个’, inplace=‘去除重复项，还是保留重复项的副本’

3.保存去重后的数据到excel;

data.to_excel('路径+名字.xlsx')或者data.to_csv(路径+名字.csv', encoding='utf8')