支持向量回归的y可以是向量吗支持向量机回归方程

转载

mob6454cc6d3e23 2024-05-20 15:59:52

文章标签 支持向量回归的y可以是向量吗算法 svm 预测函数 文章分类 机器学习人工智能

支持向量机算法 SVM 是 Support Vector Machine 的缩写，它是工业和学术界都有广泛应用的强大的算法。

从逻辑回归算法谈起

逻辑回归算法的预测函数

逻辑回归算法的预测函数称为 Sigmoid Function ，如下图：

这意味着，针对 y=1，我们希望预测值 h(x)≈1，那么只要 z=θTx≫0 即可。相同的道理，针对 y=0，我们希望预测值 h(x)≈0，那么只要 z=θTx≪0

逻辑回归算法的成本函数

回顾之前的知识，逻辑回归算法的成本函数如下

J(θ)=−1m[∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ2m∑j=1nθ2j

如果我们去掉 1m

J(θ)=−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))

当 y(i)=1 时，1−y(i)=0，故这一式子再简化为：

J(θ)=−y(i)log(hθ(x(i)))=−log(11+e−z)

把上述函数以成本 J 为纵坐标，z 为横坐标，画出来的函数曲线如下：

从图中可以看到，针对 y=1 的情况，如果 z=θTx≫1 时，成本将很小。支持向量机的原理，就是简化逻辑回归算法的成本函数，以 z=1 为分界线，当 z<1 时，把成本函数简化为一条斜线，当 z>=1。如上图洋红色所示。

相同的道理，针对y(i)=0

J(θ)=−(1−y(i))log(1−hθ(x(i)))=−log(1−11+e−z)

把上述函数以成本 J 为纵坐标，z 为横坐标，画出来的函数曲线如下：

从图中可以看到，针对 y=0 的情况，如果 z=θTx≪−1 时，成本将很小。支持向量机的原理，就是简化逻辑回归算法的成本函数，以 z=−1 为分界线，当 z<−1 时，把成本函数简化为 0，当 z>=−1。如上图洋红色所示。

支持向量机算法的成本函数

根据上面的定义，支持向量机把成本函数分成两部分，一部分是针对 y=1 的情况，它是一个以 z=1 为分界点的折线。另外一部分是针对 y=0 的情况，它是以 z=−1

J(θ)=C[∑i=1my(i)cost1(θTx(i))+(1−y(i))cost0(θTx(i))]+12∑j=1nθ2j

这就是用在支持向量机算法里的成本函数。这里的参数 C 越大，正则项的比重就越小，就容易造成过拟合。反之，如果 C 越小，正则项的比重就越大，就容易造成欠拟合。

支持向量机的预测函数

我们定义支持向量机的预测函数如下：

hθ(x)=⎧⎩⎨⎪⎪1,0,if θTx >= 1if θTx <= -1

这里和逻辑回归算法比较，针对逻辑回归算法，其正负样本分界线为 θTx=0，即 θTx>0 时为正样本，当 θTx<0 时为负样本。而支持向量机的分类预测函数要求更严格，它要求 θTx>=1 时为正样本，θTx<=−1

大间距分类算法

支持向量机也称为大间距分类算法。大间距的意思是，用 SVM 算法计算出来的分界线会保留对类别最大的间距，即有足够的余量。

我们看一个比较极端的情况，假设我们选取一个很大的值作为参数 C 的值，那么为了让成本最小，我们必须让成本函数的前半部分为 0，这样成本函数就只剩下：

J(θ)=12∑j=1nθ2j

求解这个函数的结果，就会让我们获得一个较大间距的分类算法。如下图所示，假设我们有个分类问题。那么洋红色和绿色的都可以是合法的分界线，但 SVM 可以得到黑色的分界线，即确保到两个类别有最大的间距。

为什么求解 J(θ)=12∑nj=1θ2j

我们接着看下图，如果我们的参数 C 很大，那么可能发生过拟合，即左下角的一个异常的红色样例 X 可能会导致决策界从黑色线变成洋红色线。但实际上，直观地来理解，这样的转变是不合理的，我们仍然希望得到黑色的决策界。这个时候，我们可以调整参数 C ，让 C 的值不要太大，这样就不会被左下角的红色 X 异常样例的干扰，照样得到黑色的决策边界。

与逻辑回归算法类比，C 相当于 1λ。通过调整 C 可以让 SVM 算法不至于过拟合，也不至于欠拟合。