曲线的回归曲线 曲线回归方程公式

逻辑回归与线性回归

什么是回归

利用大量的样本，通过有监督的学习，学习到由$x$到$y$的映射$f$，利用该映射关系对未知的数据进行预估。

线性回归

线性回归（Linear Regression）是一种回归模型，通过将输入特征进行线性组合输出连续值。

线性回归公式为$W^TX^{(i)}+b$。

损失函数与梯度下降

线性回归使用损失函数来判断解雇的好坏，由于其凸函数的性质，使用梯度下降来实现优化，最终目标实现损失函数达到最低点。

图像

只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。

• 单变量线性回归



• 多变量线性回归

💡线性回归就可以理解为线性的关系

举例

例如根据房间面积这一特征对房价的预测：

逻辑回归

逻辑回归（Logistic Regression）是另一种回归模型，通过将sigmoid函数应用于线性预测，生成分类问题中每个可能标签的概率。

逻辑回归公式为$\sigma(W^TX^{(i)}+b)$

逻辑回归通常用来解决二分类问题，因为通过sigmoid函数可以将预测结果概率映射到在0-1之间，通常设0.5位阈值的边界。

举例

例如邮件垃圾检测中，逻辑回归结构

逻辑回归的损失函数

线性回归的损失函数为平方损失函数，如果将其用于逻辑回归的损失函数，则其数学特性不好，有很多局部极小值，难以用梯度下降法求最优。

所以逻辑回归的损失函数比较特殊，是一个对数损失函数：

至于为什么要这样写，具体数学细节参见此处。