机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布的需求,这种需求统称为将数据“无量纲化”

  • 以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度

  • 距离类模型,譬如K近邻,KMeans聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。

  • 一个特例是决策树和树的集成算法们,对决策树我们不需要无量纲化,决策树可以把任意数据都处理得很好。


数据的无量纲化可以是线性的,也可以是非线性的。线性的无量纲化包括中心化(Zero-centered或者Mean-subtraction)处理和缩放处理(Scale)。中心化的本质是让所有记录减去一个固定值,即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值,将数据固定在某个范围之中,取对数也算是一种缩放处理。

数据预处理:数据标准化StandardScaler_java


preprocessing.StandardScaler

当数据(x)按均值(μ)中心化后,再按标准差(σ)缩放,数据就会服从均值为0,方差为1的正态分布(即标准正态分布),而这个过程,就叫做数据标准化(Standardization,又称Z-score normalization),公式如下:

数据预处理:数据标准化StandardScaler_java_02

数据预处理:数据标准化StandardScaler_java_03

from sklearn.preprocessing import StandardScaler
data = [[-12], [-0.56], [010], [118]]

scaler = StandardScaler()                           #实例化
scaler.fit(data)                                    #fit,本质是生成均值和方差

print("查看均值的属性mean_",scaler.mean_ )           #查看均值的属性mean_
print("查看方差的属性var_",scaler.var_)              #查看方差的属性var_

x_std = scaler.transform(data)                      #通过接口导出结果

print("查看均值",x_std.mean() )                                      #导出的结果是一个数组,用mean()查看均值
print("查看标准差",x_std.std() )                                        #用std()查看方差

scaler.fit_transform(data)                          #使用fit_transform(data)一步达成结果

scaler.inverse_transform(x_std)                     #使用inverse_transform逆转标准化

输出:

数据预处理:数据标准化StandardScaler_java_04






对于StandardScaler和MinMaxScaler来说,空值NaN会被当做是缺失值,在fit的时候忽略,在transform的时候保持缺失NaN的状态显示。并且,尽管去量纲化过程不是具体的算法,但在fit接口中,依然只允许导入至少二维数组,一维数组导入会报错。通常来说,我们输入的X会是我们的特征矩阵,现实案例中特征矩阵不太可能是一维所以不会存在这个问题。




StandardScaler和MinMaxScaler选哪个?

  • 大多数机器学习算法中,会选择StandardScaler来进行特征缩放,因为MinMaxScaler对异常值非常敏

  • PCA,聚类,逻辑回归,支持向量机,神经网络这些算法中,StandardScaler往往是最好的选择。

  • MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛,比如数字图像处理中量化像素强度时,都会使用MinMaxScaler将数据压缩于[0,1]区中。

  • 建议先试试看StandardScaler,效果不好换MinMaxScaler。


除了StandardScaler和MinMaxScaler之外,sklearn中也提供了各种其他缩放处理(中心化只需要一个pandas广播一下减去某个数就好了,因此sklearn不提供任何中心化功能)。比如,在希望压缩数据,却不影响数据的稀疏性时(不影响矩阵中取值为0的个数时),我们会使用MaxAbsScaler;在异常值多,噪声非常大时,我们可能会选分位数来无量纲化,此时使用RobustScaler