python 数据的均值和标准差 python怎么算标准差

转载

mob6454cc773039 2024-03-13 15:24:55

文章标签 python 数据的均值和标准差 z-score标准化 Max-Min标准化 MaxAbsScaler标准化 RobustScaler标准化 文章分类 Python 后端开发

标准化，让运营数据落入相同的范围

实现中心化和正态分布的Z-Score
实现归一化的Max-Min
用于稀疏数据的MaxAbs
针对离群点的RobustScaler
代码实操：Python数据标准化处理

数据标准化是一个常用的

数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。除了用作模型计算，

标准化后的数据还具有了直接计算并生成复合指标的意义，是加权指标的必要步骤。

实现中心化和正态分布的Z-Score

小弟我也得先百度查一下如下信息做了解：
计算标准差的步骤通常有四步：
（1）计算平均值
（2）计算方差
（3）计算平均方差
（4）计算标准差

例如，对于一个有六个数的数集2,3,4,5,6,8，其标准差可通过以下步骤计算：

（1）计算平均值：
(2 + 3 + 4 + 5+ 6 + 8)/6 = 30 /6 = 5

（2）计算方差：
(2 – 5)^2 = (-3)^2= 9
(3 – 5)^2 = (-2)^2= 4
(4 – 5)^2 = (-1)^2= 0
(5 – 5)^2 = 0^2= 0
(6 – 5)^2 = 1^2= 1
(8 – 5)^2 = 3^2= 9

（3）计算平均方差：
(9 + 4 + 0 + 0+ 1 + 9)/6 = 24/6 = 4

（4）计算标准差：
√4 = 2

Z-Score标准化是基于原始数据的均值和标准差进行的标准化，假设原转换的数据为x，新数据为x’，那么x’=（x-mean）/std，其中mean和std为x所在列的均值和标准差。
这种方法适合大多数类型的数据，也是很多工具的默认标准化方法。标准化之后的数据是以0为均值，方差为1的正态分布。但是Z-Score方法是一种中心化方法，会改变原有数据的分布结构，不适合用于对稀疏数据做处理。

提示：在很多时候，数据集会存在稀疏性特征，表现为标准差小、并有很多元素的值为0，最常见的稀疏数据集是用来做协同过滤的数据集，绝大部分的数据都是0，仅有少部分数据为1。对稀疏数据做标准化，不能采用中心化的方式，否则会破坏稀疏数据的结构。

实现归一化的Max-Min

Max-Min标准化方法是对原始数据进行线性变换，假设原转换的数据为x，新数据为x’，那么x’=（x-min）/（max-min），其中min和max为x所在列的最小值和最大值。
这种标准化方法的应用非常广泛，得到的数据会完全落入[0，1]区间内（Z-Score则没有类似区间），这种方法能使数据归一化而落到一定的区间内，同时还能较好地保持原有数据结构。

用于稀疏数据的MaxAbs

最大值绝对值标准化（MaxAbs）即根据最大值的绝对值进行标准化，假设原转换的数据为x，新数据为x’，那么x’=x/|max|，其中max为x所在列的最大值。
MaxAbs方法跟Max-Min用法类似，也是将数据落入一定区间，但该方法的数据区间为[-1，1]。MaxAbs也具有不破坏原有数据分布结构的特点，因此也可以用于稀疏数据、稀疏的CSR或CSC矩阵。

注意：CSR（Compressed Sparse Row，行压缩）和CSC（Compressed Sparse Column，列压缩）是稀疏矩阵的两种存储格式，这两种稀疏矩阵在scipy.sparse包中应用广泛。除了这两种格式之外，用于存储稀疏矩阵的格式还有COO、CSR、DIA、ELL、HYB等。

针对离群点的RobustScaler

某些情况下，假如数据集中有离群点，我们可以使用Z-Score进行标准化，但是标准化后的数据并不理想，因为异常点的特征往往在标准化之后便容易失去离群特征。此时，可以使用RobustScaler针对离群点做标准化处理，该方法对数据中心化和数据的缩放健壮性有更强的参数控制能力。

代码实操：Python数据标准化处理

将使用Numpy、sklearn进行标准化相关处理。源文件data6.txt位于“附件-chapter3”中（可查看之前的第3篇文章进行相关数据下载）

import numpy as np
from sklearn import preprocessing
import matplotlib.pyplot as plt

data = np.loadtxt('D:/jupter_workspace/chapter3/data6.txt', delimiter='\t') # 读取数据文件
# Z-Score标准化
zscore_scaler = preprocessing.StandardScaler() #建立StandardScaler对象
data_scale_1 = zscore_scaler.fit_transform(data) # StandardScaler标准化处理

# Max-Min标准化
minmax = preprocessing.MinMaxScaler() # 建立MinMaxScaler模型对象
data_scale_2 = minmax.fit_transform(data) # MinMaxScaler标准化处理

# MaxAbsScaler标准化
maxabsscaler = preprocessing.MaxAbsScaler() # 建立MaxAbsScaler对象
data_scale_3 = maxabsscaler.fit_transform(data) # MaxAbsScaler标准化

# RobustScaler标准化
robustscalerr_scaler = preprocessing.RobustScaler() # 建立RobustScaler标准化对象
data_scale_4 = robustscalerr_scaler.fit_transform(data) # RobustScaler标准化标准化处理

# 展示多网格结果
data_list = [data, data_scale_1, data_scale_2, data_scale_3, data_scale_4]
#建数据集列表
scalar_list = [15, 10, 15, 10, 15, 10] # 创建点尺寸列表
color_list = ['black', 'green', 'blue', 'yellow', 'red'] # 创建颜色列表
merker_list = ['o', ',', '+', 's', 'p'] # 创建样式列表
title_list = ['source data', 'zscore_scaler', 'minmax_scaler', 'maxabsscaler_scaler', 'robustscalerr_scaler'] # 创建标题列表

for i, data_single in enumerate(data_list): #循环得到索引和每个数值
    plt.subplot(2, 3, i + 1) # 确定子网格
    plt.scatter(data_single[:, :-1], data_single[:, -1], s=scalar_list[i], marker=merker_list[i], c=color_list[i])
    plt.title(title_list[i])  # 设置自网格标题
    plt.suptitle("raw data and standardized data")  # 设置总标题
    plt.show()  # 展示图形

输出结果图：

python 数据的均值和标准差 python怎么算标准差_MaxAbsScaler标准化