线性回归和逻辑回归的计算题 线性回归逻辑回归算法

线性回归(Linear Regression)：

线性回归是回归模型，y=f(x)：表明自变量x和因变量y的关系。

1.模型

2.策略

损失函数(平方损失函数)：

注：平方误差代价函数是解决回归问题最常用的代价函数。

3.算法

最小二乘法：

注意：要求X是满秩的！

逻辑回归(Logistic Regression)：

逻辑回归是统计学习中的经典分类方法，属于对数线性模型。

1.模型

逻辑回归实际上是处理二类分类问题的模型，输出结果是0或1，在线性回归的基础之上，引入Sigmoid函数将输出值控制在[0, 1]之间，并规定大于等于0.5，将预测值记为1；小于0.5，将预测值记为0。

Sigmoid函数：线性函数的值越接近正无穷大，概率值越接近1；反之，线性函数的值越接近负无穷，概率值就越接近0。

函数曲线如下：

2.策略

逻辑回归服从伯努利分布，输出结果用概率(后验概率)的形式表示，可以将表达式写成：

整合得到：

极大似然函数(后验概率的连乘)，即极大似然估计：

取对数，得到对数似然函数：

上述函数求极大值即可得到局部最优解，转变为以下函数即为求极小值，损失函数(对数损失函数)：

注：对数损失函数是凸函数。

3.算法

使用梯度下降法来极小化损失函数来更新权值，梯度的负方向就是代价函数下降最快的方向。

sigmoid函数求导：

更新参数：