在此所说的归一化是指对特征的每一维度分别做归一化. 这里的归一化又称为标准化.SVM是线性分类器,貌似不对特征做归一化并不会对最终的实验结果产生较大影响. 可是在实验中可发现, 如果不同维特征量级相差过大,我们很可能会得到很差的测试结果. 有些人的看法很不错,认为在机器学习中对特征做归一化目的有:
1,避免训练得到的模型权重过小,引起数值计算不稳定;
2,使参数优化时能以较快的速度收敛.
归一化时可以采用对应维度均值与方差.如果采用matlab实现特征的标准化,可以利用命令zscore,.
Z = zscore(X)
[Z,mu,sigma] = zscore(X)
[...] = zscore(X,1)
[...] = zscore(X,flag,dim)其中,Ｘ每一行对应一个样本,每一列对应一维特征.
先说一下一个小疑问：
目前所了解的归一化概念有点模棱两可，目前可能有三种理解
假设矩阵Ａ大小ｎ＊ｍ，ｎ代表样本数，ｍ代表每一个样本的维度
①单独对每一列(全部样本的同一个属性)进行归一化
②单独对每一行(一个样本的所有的属性)进行归一化
③对整个矩阵Ａ进行归一化
这三个理解都能达到所有数据变换到[0,1]的效果。
然后，正确的答案是：归一化是针对相同维度进行的，即①的理解。但是对于③，我认为也是可取的，也可以作为正确答案
举个例子，比如人的属性是颜色，身高，年龄。如果你对每一个人进行归一化，很可能把颜色归一化成一样的了，毕竟每一个人自己的几个属性的方差是不相同的，不排除存在这种可能，使得某种属性在归一化以后几乎相等，此时这种属性几乎就会失去作用了。但是对所有人的同一种属性进行归一化，即使也可能与其它维度是值相等了，但是这个属性并不会失去其作用
先来看自带函数zscore的使用
1. >> A=[1 2 3;4 5 6];
2. >> [B,A_mean,A_std]=zscore(A)
3.
4. B =
5.
6. -0.7071 -0.7071 -0.7071
7. 0.7071 0.7071 0.7071
8.
9.
10. A_mean =
11.
12. 2.5000 3.5000 4.5000
13.
14.
15. A_std =
16.
17. 2.1213 2.1213 2.1213
18.
19. >>
其中A_mean代表A按列求均值，A_std代表每一个列向量的标准差。
接下来看看如何逐步求：
1. >> A=[ 1 2 3;4 5 6];
2. >> A_mean=mean(A,1);
3. >> A_std=std(A);
4. >> B=(A-repmat(A_mean,size(A,1),1))./repmat(A_std,size(A,1),1);
5. >> A_mean
6.
7. A_mean =
8.
9. 2.5000 3.5000 4.5000
10.
11. >> A_std
12.
13. A_std =
14.
15. 2.1213 2.1213 2.1213
16.
17. >> B
18.
19. B =
20.
21. -0.7071 -0.7071 -0.7071
22. 0.7071 0.7071 0.7071
反标准化用到的是前面求到的两个参数：均值和标准差
1. B.*repmat(A_std,size(A,1),1)+repmat(A_mean,size(A,1),1)
2.
3. ans =
4.
5. 1 2 3
6. 4 5 6
所以在进行标准化和反标准化的时候，一定要记住均值和方差。
