SVM处理非线性问题

一、总结

一句话总结:

【利用核函数】:到更高维度去找可以分类的超平面(无限维度的平面中必然可分)。
【软间隔和正则化】:有限制地降低分类要求,允许一部分样本(不满足的样本要尽量少)不满足。

 

1、在现实任务中,原始样本空间也许并不存在一个能正确划分两类样本的超平面,那这个时候应该怎么办呢?

1、我们的想法是仍然去找平面,但我们去更高的纬度里去找平面。在低维空间里一些线性不可分的数据集,到高维空间里面将会以更大的概率被线性分开。
2、如果说你在无限的维度里面进行这个操作,那么这些点能被线性分开的概率为1。

 

 

二、SVM处理非线性问题

 

SVM处理非线性问题理解

(1)利用核函数

SVM处理非线性问题_微信

 

 


(2)软间隔和正则化

SVM处理非线性问题_正则化_02

 

 

总结

从以上来看,利用SVM处理非线性问题主要用到了两种方法:

  1. 到更高维度去找可以分类的超平面。
  2. 有限制地降低分类要求。

当然,这两种方法可以结合使用来达到更好的效果。