1. 简单介绍一下逻辑回归？
逻辑回归主要用来解决分类问题，线性回归的结果带入一个非线性变换的Sigmoid函数中，得到
之间取值范围的数
，
可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么
大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。
2. 逻辑回归的损失函数推导？
逻辑回归本质上是线性回归，即先把特征线性求和，然后带入Sigmoid函数中作为假设函数来进行预测。
逻辑回归用来分类0/1 问题，也就是预测结果属于0 或者1 的二值分类问题。这里假设了二值满足伯努利分布，也就是：
可以合并成：
似然函数为：
取对数并取反则得到负对数损失函数：
3. 可以进行多分类吗？
- 采用一对多的方法扩展到多分类：
每次将一个类型作为正例，其他的作为反例，训练个分类器。在预测阶段，每个分类器可以根据测试样本，得到当前正类的概率，选择概率最大的分类器，其正类就可以作为预测结果。
特点：效率较高，有多少个类别就训练多少个分类器，复杂度使O（n）。
但容易造成训练集样本数量的不平衡（Unbalance），尤其在类别较多的情况下，经常容易出现正类样本的数量远远不及负类样本的数量，这样就会造成分类器的偏向性。
- 一对一的方法：
将），预测的时候，将样本通过所有分类器，通过投票来得到结果，最后票数最多的类别被认定为该样本的类
4. LR+离散特征原因？
- 提高计算速度。稀疏向量内积乘法运算速度快，计算结果方便存储
- 鲁棒性。减小异常数据的干扰。
- 稳定性。降低特征变化带来的影响。
- 方便交叉与特征组合。进一步引入非线性
- 简化模型。特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。
5. 逻辑回归常用的优化方法
- 一阶方法：
梯度下降、随机梯度下降、mini 随机梯度下降降法。随机梯度下降不但速度上比原始梯度下降要快，局部最优化问题时可以一定程度上抑制局部最优解的发生。 - 二阶方法：
牛顿法、拟牛顿法。
这里详细说一下牛顿法的基本原理和牛顿法的应用方式。牛顿法其实就是通过切线与x轴的交点不断更新切线的位置，直到达到曲线与x轴的交点得到方程解。在实际应用中我们因为常常要求解凸优化问题，也就是要求解函数一阶导数为0的位置，而牛顿法恰好可以给这种问题提供解决方法。实际应用中牛顿法首先选择一个点作为起始点，并进行一次二阶泰勒展开得到导数为0的点进行一个更新，直到达到要求，这时牛顿法也就成了二阶求解问题，比一阶方法更快。我们常常看到的x通常为一个多维向量，这也就引出了Hessian矩阵的概念（就是x的二阶导数矩阵）。
缺点：牛顿法是定长迭代，没有步长因子，所以不能保证函数值稳定的下降，严重时甚至会失败。还有就是牛顿法要求函数一定是二阶可导的。而且计算Hessian矩阵的逆复杂度很大。
拟牛顿法： 不用二阶偏导而是构造出Hessian矩阵的近似正定对称矩阵的方法称为拟牛顿法。拟牛顿法的思路就是用一个特别的表达形式来模拟Hessian矩阵或者是他的逆使得表达式满足拟牛顿条件。主要有DFP法（逼近Hession的逆）、BFGS（直接逼近Hession矩阵）、 L-BFGS（可以减少BFGS所需的存储空间）。
6. 逻辑回归的优缺点
优点：
- 易于理解，实现简单；
- 计算量小，计算速度快，存储资源低；
- 方便观测样本的概率。
缺点： - 容易欠拟合，分类精度不高；
- 特征空间很大时表现效果不好；
7. RL与SVM有什么区别
- 线性回归做分类因为考虑了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；
LR和SVM克服了这个缺点，其中LR将所有数据采用sigmoid函数进行了非线性映射，削弱远离分类决策面的数据的作用；SVM直接去掉了远离分类决策面的数据，只考虑支持向量的影响； - LR是参数模型，SVM是非参数模型；
- 从目标函数来看，区别在于逻辑回归采用的是交叉熵损失函数，SVM采用的是hinge loss；
- 逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些；
答题不要贪多反而最主要的都没说清楚，主观题言之有理即可不用面面俱到。基础的问题一定要耐心背熟，有了框架线索，思路就会清晰，易于扩展。
8. 线性回归与逻辑回归的区别
- 线性回归主要解决回归任务，逻辑回归主要解决分类问题；
- 线性回归的输出一般是连续的，逻辑回归的输出一般是离散的；
- 逻辑回归的输入是线性回归的输出；
- 线性回归的损失函数是
，逻辑回归中，采用的是负对数损失函数。
另一个回答思路：线性回归做分类因为考虑了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；而LR克服了这个缺点，其中LR将所有数据采用sigmod函数进行了非线性映射，削弱远离分类决策面的数据的作用。
