1、逻辑回归和线性回归的联系和区别
有助于理解区别和联系 1.回归问题的应用场景（预测的结果是连续的，例如预测明天的温度，23，24，25度） 回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法（LR）。 另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。 2.分类问题的应用场景（预测的结果是离散的，例如预测明天天气-阴，晴，雨） 分类问题是用于将事物打上一个标签，通常结果为离散值。 例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。 分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。 最常见的分类方法是逻辑回归，或者叫逻辑分类。
2、逻辑回归的原理
回归 Regression问题的常规步骤为：
1、寻找h函数（即hypothesis）；
2、构造J函数（损失函数）；
3、想办法使得J函数最小并求得回归参数（θ）
构造预测函数h：
Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：
Sigmoid 函数在有个很漂亮的“S”形，如下图所示（引自维基百科）：
下面左图是一个线性的决策边界，右图是非线性的决策边界。
对于线性边界的情况，边界形式如下：
构造预测函数为：
| 详细推导过程| |
3、
逻辑回归的损失函数推导以及优化
公式推导 1、损失函数也叫目标函数，他是衡量预测值和实际值的相似程度的指标。我们希望预测值和真实值尽量接近，就需要估计一系列参数来拟合，这个参数集使得误差越小就说明这个算法还不错。一个损失函数有可能存在多个局部最小点，我们就需要至少找到在局部地区的最小值。
常见的优化函数：
1、随机梯度下降法（批次、随机、mini-batch）
2、动量算法（物理里面的动量含义）
3、RMSProp
4、Adam 算法
**
随机梯度下降法
**
θ是你试图找到最小化 J 的参数，这里的 J 称为目标函数，α叫做学习率。目标函数的来龙去脉可以参考之前的文章。我们先假设θ取一个值，然后不停的修正这个值，从而使得最小化J。可以假设θ是一个山坡上一个点，而最后的导数部分是该点的坡度；学习率就是一个摩擦系数，学习率大就说明摩擦越小。
算法说明
随机梯度下降法：
1、初始化参数（θ，学习率）
2、计算每个θ处的梯度
3、更新参数
4、重复步骤 2 和 3，直到代价值稳定
动量 SGD
用户想要使用非常大的学习速率来快速学习感兴趣的参数。不幸的是，当代价函数波动较大时，这可能导致不稳定，之前的视频学习参数过大，基本就没什么点可以看到。
动量 SGD 试图使用过去的梯度预测学习率来解决这个问题
正则化与模式评估标准指标
指标详解
逻辑回归的优缺点
常见优缺点
样本不均衡的解决办法
常见方法
