通过一些转换函数将特征数据转换成更加适合算法模型的特征数据。

包含内容:
数值型数据的无量钢化

  • 归一化
  • 标准化

对于归一化来说:如果出现异常点,影响了最大值和最小值,那么结果显然会发生改变。
对于标准化来说:如果出现异常点,由于具有一定数据量,少量的异常点对于平均值的影响并不大,从而方差改变较小。

特征预处理API:

  • sklearn.preprocessing

为什么我们要进行归一化/标准化?

  • ·特征的单位或者大小相差较大,或者某特征的方差相比其他的特征要大出几个数量级,容易影响(支配)目标结果,使得一些算法无法学习到其它的特征。
  • python对数据进行标准化或者归一化的特征预处理_实例化

python对数据进行标准化或者归一化的特征预处理_实例化_02

1、归一化:

归一化缺点:异常值(缺失等),如果最大值和最小值异常时不能处理

python对数据进行标准化或者归一化的特征预处理_归一化_03

python对数据进行标准化或者归一化的特征预处理_最小值_04

# 归一化处理
import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler  #归一化库
 
# 1.获取数据
df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")
display(df.sample(3))
x = df.iloc[:,:3]
display(x.head(3))
 
#2.实例化一个转换器类
transfer = MinMaxScaler(feature_range=(10,20)) #实例化一个转换器类
# feature_range=(10,20),设置归一化后的数据取值范围
 
#3.#调用fit_transform()
xi = transfer.fit_transform(x) #调用fit_transform()
print(xi)
 
#4、转化为二维表
data = pd.DataFrame(xi,columns=x.columns)
data["y"] = df['y']
display(data)

python对数据进行标准化或者归一化的特征预处理_最小值_05

2、标准化:

标准化有效地避免了归一化的缺点(最大值和最小值带来的影响)

python对数据进行标准化或者归一化的特征预处理_实例化_06

# 标准化处理(转化为均值为0,标准差为1 附近的值)
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler  #归一化库
 
# 1.获取数据
df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")
display(df.sample(3))
x = df.iloc[:,:3]
display(x.head(3))
 
#2.实例化一个转换器类
transfer = StandardScaler() #实例化一个转换器类
 
#3.#调用fit_transform()
xi = transfer.fit_transform(x) #调用fit_transform()
print(xi)
 
#4、转化为二维表
data = pd.DataFrame(xi,columns=x.columns)
data["y"] = df['y']
display(data.tail(3))

python对数据进行标准化或者归一化的特征预处理_最小值_07