Python 删除离群值

介绍

离群值是指在数据集中远离其他观测值的数据点，可以是数据输入或数据损坏产生的错误。它们通常会对分析造成影响，因此需要处理它们。

Python 是一种流行的编程语言，可以用于处理数据集和删除离群值。本文将介绍 Python 中删除离群值的一些方法。

离群值的检测

在删除离群值之前，需要先检测它们。常用的方法有以下几种：

直方图检测

绘制数据的直方图，可以检测数据是否服从正态分布。如果在正常范围内，那么就是正常值，否则就是离群值。

箱线图检测

箱线图可以帮助检验数据是否存在异常值，一般将箱体之外的数据点定义为离群值。

统计分析检测

通过计算数据的均值、标准差和离群值之间的距离，可以检测出离群值。

删除离群值

删除离群值会影响数据集的分布，因此需要在删除前仔细考虑。

以下是常用的删除离群值的方法：

箱线图

箱线图会在箱体之外定义为离群值，因此可以使用箱线图来删除离群值。首先，计算出箱线图的上四分位数（Q3）和下四分位数（Q1），然后计算出箱线图的上边沿和下边沿。所有超出这两个边沿的数据点都是离群值，可将其删除。

def remove_outliers_boxplot(data):
    q1, q3 = np.percentile(data, [25, 75])
    iqr = q3 - q1
    lower_bound = q1 - (iqr * 1.5)
    upper_bound = q3 + (iqr * 1.5)
    return [x for x in data if x >= lower_bound and x <= upper_bound]

Z 分数

Z 分数可以帮助确定一个数据点是否是离群值，可以使用 Z 分数来删除离群值。计算每个数据点的 Z 分数，如果 Z 分数超过阈值（默认为 3），则将其删除。

def remove_outliers_zscore(data, threshold=3):
    mean = np.mean(data)
    std_dev = np.std(data)
    z_scores = [(x - mean) / std_dev for x in data]
    return [x for x, z in zip(data, z_scores) if abs(z) <= threshold]

结论

Python 是一种非常方便的编程语言，可以用于处理数据集和删除离群值。本文介绍了一些常用的检测离群值的方法，以及删除离群值的两种常用方法：箱线图和 Z 分数。在删除离群值之前，需要仔细考虑这样做可能会对数据集造成哪些影响。