python 格拉布斯准则

原创

mob64ca12e5c0c2 2024-04-13 06:58:47 ©著作权

文章标签 数据集 Python 数据 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e5c0c2的原创作品，请联系作者获取转载授权，否则将追究法律责任

Python 格拉布斯准则

什么是格拉布斯准则？

在数据分析和统计学中，格拉布斯准则是一种用于检测数据集中异常值的方法。其基本思想是通过识别数据集中与其他数据明显不同的数据点，从而帮助分析师找出可能存在的异常情况。格拉布斯准则通常用于单变量数据集，即只考虑一个特征的情况。

格拉布斯准则的公式

格拉布斯准则的公式如下所示：

$$ G = \frac{|X_i - \bar{X}|}{s} $$

其中，$X_i$ 是数据集中的某个数据点，$\bar{X}$ 是数据集的均值，$s$ 是数据集的标准差。通过计算每个数据点的格拉布斯值 $G$，我们可以判断该数据点是否为异常点。

如何判断异常值？

根据格拉布斯准则，如果某个数据点的格拉布斯值超过了临界值 $G_c$，就可以认为该数据点是异常值。临界值 $G_c$ 的计算公式为：

$$ G_c = \frac{n-1}{\sqrt{n}} \times \sqrt{\frac{t^2}{n-2+t^2}} $$

其中，$n$ 是数据集的样本数量，$t$ 是置信水平。通常情况下，当 $G > G_c$ 时，我们可以认为数据点 $X_i$ 是一个异常值。

Python 示例

下面我们来看一个使用 Python 实现格拉布斯准则的示例。假设我们有一个包含一些身高数据的数据集，我们要检测其中是否存在异常值。

import numpy as np

def grubbs_test(data, alpha):
    n = len(data)
    mean = np.mean(data)
    std = np.std(data)
    
    G_critical = (n-1) / np.sqrt(n) * np.sqrt((t**2) / (n-2+t**2))
    
    G_values = np.abs(data - mean) / std
    max_G = np.max(G_values)
    
    if max_G > G_critical:
        return True
    else:
        return False

# 生成一些随机身高数据
heights = np.random.normal(170, 5, 100)

# 添加一个异常值
heights[0] = 220

# 设置置信水平为 95%
t = 2.262

# 检测异常值
is_outlier = grubbs_test(heights, 0.05)
print(is_outlier)

在上面的示例中，我们首先生成了一个包含 100 个随机身高数据的数据集 heights，然后人为地将第一个数据点设置为异常值。通过调用 grubbs_test 函数，我们计算了数据集中所有数据点的格拉布斯值，并判断是否存在异常值。

根据输出结果，我们可以看到异常值的检测结果为 True，即存在异常值。这说明格拉布斯准则成功地帮助我们找出了数据集中的异常情况。