通过一些转换函数将特征数据转换成更加适合算法模型的特征数据。
包含内容:
数值型数据的无量钢化:
- 归一化
- 标准化
对于归一化来说:如果出现异常点,影响了最大值和最小值,那么结果显然会发生改变。
对于标准化来说:如果出现异常点,由于具有一定数据量,少量的异常点对于平均值的影响并不大,从而方差改变较小。
特征预处理API:
- sklearn.preprocessing
为什么我们要进行归一化/标准化?
- ·特征的单位或者大小相差较大,或者某特征的方差相比其他的特征要大出几个数量级,容易影响(支配)目标结果,使得一些算法无法学习到其它的特征。
1、归一化:
归一化缺点:异常值(缺失等),如果最大值和最小值异常时不能处理
# 归一化处理
import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler #归一化库
# 1.获取数据
df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")
display(df.sample(3))
x = df.iloc[:,:3]
display(x.head(3))
#2.实例化一个转换器类
transfer = MinMaxScaler(feature_range=(10,20)) #实例化一个转换器类
# feature_range=(10,20),设置归一化后的数据取值范围
#3.#调用fit_transform()
xi = transfer.fit_transform(x) #调用fit_transform()
print(xi)
#4、转化为二维表
data = pd.DataFrame(xi,columns=x.columns)
data["y"] = df['y']
display(data)
2、标准化:
标准化有效地避免了归一化的缺点(最大值和最小值带来的影响)
# 标准化处理(转化为均值为0,标准差为1 附近的值)
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler #归一化库
# 1.获取数据
df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")
display(df.sample(3))
x = df.iloc[:,:3]
display(x.head(3))
#2.实例化一个转换器类
transfer = StandardScaler() #实例化一个转换器类
#3.#调用fit_transform()
xi = transfer.fit_transform(x) #调用fit_transform()
print(xi)
#4、转化为二维表
data = pd.DataFrame(xi,columns=x.columns)
data["y"] = df['y']
display(data.tail(3))