python去重去空

原创

mob649e8157ebce 2023-08-18 16:11:11 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e8157ebce的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python去重去空流程解析

引言

在开发过程中，经常会遇到需要对数据进行去重和去空处理的情况。本文将介绍如何使用Python实现对数据的去重和去空操作，并提供详细的代码示例和解释。

流程图

flowchart TD
    A(开始)
    B{数据去重}
    C{数据去空}
    D(结束)
    A --> B
    B --> C
    C --> D

数据去重

数据去重是指将重复的数据进行删除，只保留一个副本。下面是实现数据去重的步骤及相应的代码示例和解释：

步骤	代码	解释
1. 创建一个空的集合	`unique_data = set()`	使用`set()`函数创建一个空的集合，用于存储去重后的数据
2. 遍历原始数据	`for item in data:`	使用`for`循环遍历原始数据中的每个元素
3. 将元素添加到集合中	`unique_data.add(item)`	使用`add()`方法将元素添加到集合中，集合会自动去重
4. 将集合转换为列表	`unique_list = list(unique_data)`	使用`list()`函数将集合转换为列表

数据去空

数据去空是指将空值（如空字符串、空列表）从数据中删除。下面是实现数据去空的步骤及相应的代码示例和解释：

步骤	代码	解释
1. 创建一个空列表	`non_empty_data = []`	创建一个空列表，用于存储去空后的数据
2. 遍历原始数据	`for item in data:`	使用`for`循环遍历原始数据中的每个元素
3. 判断元素是否为空	`if item:`	使用`if`语句判断元素是否为空，如果不为空则执行下一步
4. 将非空元素添加到列表中	`non_empty_data.append(item)`	使用`append()`方法将非空元素添加到列表中

完整代码示例

# 数据去重
def remove_duplicates(data):
    unique_data = set()
    for item in data:
        unique_data.add(item)
    unique_list = list(unique_data)
    return unique_list

# 数据去空
def remove_empty(data):
    non_empty_data = []
    for item in data:
        if item:
            non_empty_data.append(item)
    return non_empty_data

# 示例数据
data = [1, 2, 3, 2, 4, '', 'hello', '', None, 'world']

# 去重操作
unique_list = remove_duplicates(data)
print("去重后的数据：", unique_list)

# 去空操作
non_empty_data = remove_empty(unique_list)
print("去空后的数据：", non_empty_data)