此文,记述数月前,看PRML第四章-线性分类模型时的思考。

另一个角度来看:支持向量机(SVM)_数据

此模型得到的解析解为:

另一个角度来看:支持向量机(SVM)_统计学习_02

可以看到:标签信息影响最后的参数的值,进而影响判别边界,接着会对预测产生影响。

另一个角度来看:支持向量机(SVM)_统计学习_03

示例:可以看到相同的数据,使用不同的标签信息,得到不同的判别边界。

另一个角度来看:支持向量机(SVM)_参考资料_04另一个角度来看:支持向量机(SVM)_线性分类_05

训练完参数,使用其做预测,那么:不同的标签选择+各个类的点数Ni,就会有不同的判别边界,从而影响预测。

如预测下图三个*点是正类<+>还是负类<o>:

另一个角度来看:支持向量机(SVM)_斜率_06

那么什么样的标签是好的呢?<对预测数据,得到的判别“合理”>

从判别边界来看,应该让判别边界“居中”,那么新来的预测点在靠近判别边界的地方,也能得到“合理”的判断。

由此可以看到:SVM最大边际的思想!!!

当时,在这个地方思考了两三天,推导了部分边际的内容。觉得这个问题应该有人做过,就继续往下看了,后来看到SVM,觉得不谋而合了。

付代码:

 

clear, close all, clc
x0 = [1 4]';
x1 = [5 1]';
randn('seed',1)
N0 = 20; N1 = 40;
X0 = repmat(x0,1,N0) + rand(2,N0);
X1 = repmat(x1,1,N1) + rand(2,N1);
X = [X0 X1]';
X = [ones(N0+N1,1) X];

plot(X0(1,:),X0(2,:), 'ko', 'MarkerFaceColor', 'y', 'MarkerSize', 7);
hold on
plot(X1(1,:),X1(2,:), 'k+','LineWidth', 2, 'MarkerSize', 7);
axis([0 6 -3 8])

%% 1
T0 = zeros(N0,1);T1 = ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5),text(1,k+b-0.3, 't=\{0,+1\}')
axis([0 6 -3 8])
hold on

%% 2
T0 = -ones(N0,1);T1 = ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5, 'Color', 'r'),text(2,k*2+b, 't=\{-1,+1\}')
axis([0 6 -3 8])

%% 3
T0 = (N0+N1)/N0*ones(N0,1);T1 = -(N0+N1)/N1*ones(N1,1);T = [T0;T1];
w = inv(X'*X)*X'*T;
k = -w(2)/w(3); b = -w(1)/w(3);
h = refline(k,b); %已知斜率w 截距b 画直线
set(h, 'LineWidth', 1.5, 'Color', 'g'),text(3,k*3+b, 't=\{+N/N0,-N/N1\}')
axis([0 6 -3 8])

hold on 
plot(2, 2, 'r*',3,2, 'b*', 4, 1, 'c*')

 

学习SVM的一个好的中文资料 李航著的《统计学习方法》第七章;讲得很好、很到位;列了不少参考资料。

+维基