此文,记述数月前,看PRML第四章-线性分类模型时的思考。
此模型得到的解析解为:
可以看到:标签信息影响最后的参数的值,进而影响判别边界,接着会对预测产生影响。
示例:可以看到相同的数据,使用不同的标签信息,得到不同的判别边界。
训练完参数,使用其做预测,那么:不同的标签选择+各个类的点数Ni,就会有不同的判别边界,从而影响预测。
如预测下图三个*点是正类<+>还是负类<o>:
那么什么样的标签是好的呢?<对预测数据,得到的判别“合理”>
从判别边界来看,应该让判别边界“居中”,那么新来的预测点在靠近判别边界的地方,也能得到“合理”的判断。
由此可以看到:SVM最大边际的思想!!!
当时,在这个地方思考了两三天,推导了部分边际的内容。觉得这个问题应该有人做过,就继续往下看了,后来看到SVM,觉得不谋而合了。
付代码:
clear, close all, clc x0 = [1 4]'; x1 = [5 1]'; randn('seed',1) N0 = 20; N1 = 40; X0 = repmat(x0,1,N0) + rand(2,N0); X1 = repmat(x1,1,N1) + rand(2,N1); X = [X0 X1]'; X = [ones(N0+N1,1) X]; plot(X0(1,:),X0(2,:), 'ko', 'MarkerFaceColor', 'y', 'MarkerSize', 7); hold on plot(X1(1,:),X1(2,:), 'k+','LineWidth', 2, 'MarkerSize', 7); axis([0 6 -3 8]) %% 1 T0 = zeros(N0,1);T1 = ones(N1,1);T = [T0;T1]; w = inv(X'*X)*X'*T; k = -w(2)/w(3); b = -w(1)/w(3); h = refline(k,b); %已知斜率w 截距b 画直线 set(h, 'LineWidth', 1.5),text(1,k+b-0.3, 't=\{0,+1\}') axis([0 6 -3 8]) hold on %% 2 T0 = -ones(N0,1);T1 = ones(N1,1);T = [T0;T1]; w = inv(X'*X)*X'*T; k = -w(2)/w(3); b = -w(1)/w(3); h = refline(k,b); %已知斜率w 截距b 画直线 set(h, 'LineWidth', 1.5, 'Color', 'r'),text(2,k*2+b, 't=\{-1,+1\}') axis([0 6 -3 8]) %% 3 T0 = (N0+N1)/N0*ones(N0,1);T1 = -(N0+N1)/N1*ones(N1,1);T = [T0;T1]; w = inv(X'*X)*X'*T; k = -w(2)/w(3); b = -w(1)/w(3); h = refline(k,b); %已知斜率w 截距b 画直线 set(h, 'LineWidth', 1.5, 'Color', 'g'),text(3,k*3+b, 't=\{+N/N0,-N/N1\}') axis([0 6 -3 8]) hold on plot(2, 2, 'r*',3,2, 'b*', 4, 1, 'c*')
学习SVM的一个好的中文资料 李航著的《统计学习方法》第七章;讲得很好、很到位;列了不少参考资料。
+维基