线性回归中loss对w偏导的曲线 logistic回归偏回归系数的意义

文章目录

• 前言
• 1、logistic模型原理
• 2、LR模型为什么不用MSE做损失函数？

前言

logistic模型是基本线性回归模型的扩展，为了解决其无法对非线性问题分类，进行函数变换得到logistic模型，但logistic模型只能处理二分类问题，softmax在logistic模型的基础上进行改进，可以进行多分类。

1、logistic模型原理

基本线性回归模型公式如下：
$f(x)=w^Tx+b$
其中$w^T$是参数向量，x是样本，b为偏置项。
为了得到非线性效果，进行函数变换得到对数线性回归模型：
$f(x)=\ln(w^Tx+b)$
以二分类为例，我们想要得到预测结果为0，1的函数，则需要找到一个能把结果映射到0到1范围内的映射函数，同时该映射函数导数性质要好，能构造出损失函数，并通过求导优化参数。sigmoid函数完全满足以上条件，其表达式如下：
$sigmoid(x)=\frac{1}{1+e^{(-x)}}$
设h(x)=sigmoid(x), 可推出sigmoid()函数有如下导数性质：
$h$
推导过程如下：
$\begin{aligned} (\frac{1}{1+e^{-x}})$

因此Logistic回归模型可以表示如下：
$y=\frac{1}{1+e^{-(w^Tx+b)}}$
设
$P(y=1｜x;w)=h(x)=\frac{1}{1+e^{-(w^Tx+b)}}\\ P(y=0｜x;w)=1-h(x)=\frac{1}{1+e^{(w^Tx+b)}}$
合并上式可得：
$P(y|x;w)=(h(x))^y(1-h(x))^{1-y}$
其中，y取值0或1，构造似然函数如下：
$L(w)=\prod^n_{i=1} P(y_i|x_i;w)=\prod^n_{i=1}(h(x_i))^y_i(1-h(x_i))^{1-y_i}$
似然函数取最大既可求得，最优的w值。为了方便求解，对上式加负号并取对数转为求函数的极小值,即可得到交叉熵损失：
$-log(L(w))=-\sum _{i=1}^ny_i\log(h(x_i))+(1-y_i)\log(1-h(x_i))$
记$J(w)=-log(L(w))$,上式对w求导：
$\begin{aligned} \frac{\partial J(w)}{\partial w}&=\frac{\partial (-\log(L(w)))}{\partial w}\\ &=-\sum_{i=1}^n(\frac{y_i}{h(x_i)}-\frac{1-y_i}{1-h(x_i)})h$
其中，$h$，代入可得：
$\begin{aligned} \frac{\partial J(w)}{\partial w}&=-\sum_{i=1}^n(\frac{y_i}{h(x_i)}-\frac{1-y_i}{1-h(x_i)})h$
采用梯度下降法对参数进行更新，经过多次迭代即可求得最优参数w。
$w_{t+1}=w_t-\gamma \frac{\partial J(w)}{\partial w}$
相对于原始的线性模型，Logistic模型通过sigmoid函数映射后，将数据压缩到了0～1之间，因此可以很好的解决异常点分类问题。

过拟合与正则项

为了防止模型过拟合，可以通过添加正则项的方式解决该问题，常用的正则项有：L1正则，L2正则，或结合L1和L2正则的弹性网。
添加L1正则的损失函数如下：
$J(w)=-\sum _{i=1}^ny_i\log(h(x_i))+(1-y_i)\log(1-h(x_i))+\lambda \sum _{i=1}^d|w_i|$
添加L2正则的损失函数如下：
$J(w)=-\sum _{i=1}^ny_i\log(h(x_i))+(1-y_i)\log(1-h(x_i))+\lambda \sum _{i=1}^dw_i^2$
添加弹性网Elastic net后的损失函数如下：
$J(w)=-\sum _{i=1}^ny_i\log(h(x_i))+(1-y_i)\log(1-h(x_i))+\lambda (\rho \sum _{i=1}^d|w_i|+(1-\rho)\sum _{i=1}^dw_i^2)$
其中，n为样本数，d为属性或特征数。$\lambda>0$， $0<\rho<1$。第一部分为经验风险（原损失函数），第二部分为结构风险（正则项）。

2、LR模型为什么不用MSE做损失函数？

• 当 $w$ 的值稍微大些或稍微小写的时候，$h_{i}$ 很容易趋近于1或0，造成$\frac{\partial mse}{\partial w}$会很小，导致 $w$
• $mse$损失函数的极小值点特别多，与特征维度的平方成正相关，这对初始化 w 就有很大的要求