python 正确率 python normalizer

数据预处理是进行数据分析的第一步，如何获取干净的数据是分析效果的前提。

今天学习了几个数据预处理的入门级方法，做笔记啦！工具：python.sklearn

1、行归一化/正则化Normalizer

使每一行的平方和为1，常用于文本分类和聚类中

z=pd.DataFrame({"a":[2.,1.,6.],"b":[3.,0,2.]})

1 from sklearn.preprocessing import Normalizer
2 Normalizer().fit_transform(z)
3 #等价的sklearn函数调用三步
4 a=Normalizer()#函数实例化
5 a.fit(z)#模型拟合
6 a.transform(z)#转换

z

归一化后为

2、列归一化/标准化/无量纲化Standardscaler

该方法要求数据近似为高斯分布，标准化后数据均值为0，方差为1

1 from sklearn.preprocessing import StandardScaler
2 StandardScaler().fit_transform(z)

3、区间缩放/极差变化/无量纲化

将数据映射到[0,1]区间，但新数据加入时，会影响最大/最小值，进而需重新定义，对设计距离度量的机器学习方法不适用

#区间缩放/极差变换/无量纲化
from sklearn.preprocessing import MinMaxScaler
MinMaxScaler().fit_transform(z)

4、特征二值化

设定一个阈值，大于阈值的为1，小于等于阈值的为0,。可用于二元分类问题中目标向量的处理

#特征二值化
from sklearn.preprocessing import Binarizer
Binarizer(threshold=1).fit_transform(z)#阈值设为1

5、独热编码

分类器常默认数据是连续的有序的，但很多特征是离散的。因此，将所有离散特征的不同取值作为单独一列，1表示离散特征为此列值，0表示离散特征不为此列值

#独热编码
z3=pd.DataFrame({"a":["男","女","男","女"],"b":["大一","大二","大三","大一"]})
from sklearn.preprocessing import OneHotEncoder
enc=OneHotEncoder(categories="auto")
enc.fit(z3)
ans=enc.transform([["男","大一"]]).toarray()#toarray()转化为可显示的数组形式
OneHotEncoder(categories="auto").fit_transform(z3).toarray()

上例，生成["女”，“男”，“大一”，“大三”，“大二”]为列名的4*5的矩阵，

由

变为

6、缺失值计算

主要是对缺失值的填充

1 z5=pd.DataFrame({"a":[1,5,np.nan],"b":[np.nan,3,5],"c":[1,2,3]})
2 from sklearn.impute import SimpleImputer
3 SimpleImputer().fit_transform(z5)#默认用均值代替缺失值
4 SimpleImputer(strategy='constant').fit_transform(z5)#参数定义用0来代替缺失值

7、以多项式构建特征

a,b两个特征，则其2次多项式为1，a,b,a^2,b^2,ab

#以多项式构建特征
from sklearn.preprocessing import PolynomialFeatures
p1=PolynomialFeatures(degree=2,include_bias=False,interaction_only=False)#产生特征的平方项和交叉项
p2=p1.fit_transform(z)
p2_df=pd.DataFrame(p2,columns=p1.get_feature_names())#为p2增加列名
p2_df

     x0    x1    x0^2    x0 x1    x1^2
0    2.0    3.0    4.0    6.0    9.0
1    1.0    0.0    1.0    0.0    0.0
2    6.0    2.0    36.0    12.0    4.0

figthing!