1、LR和SVM都是分类算法,LR和SVM都是监督学习算法,都是判别模型。

2、如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。

LR的优缺点:

1.适合需要得到一个分类概率的场景

2.实现效率较高

3.对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决;

4.逻辑回归广泛的应用于工业问题上

逻辑回归的缺点:

1.当特征空间很大时,逻辑回归的性能不是很好;

2.不能很好地处理大量多类特征或变量;

4.对于非线性特征,需要进行转换;

5.依赖于全部的数据特征,当特征有缺失的时候表现效果不好。

SVM的优点:

1.能够处理大型特征空间

2.能够处理非线性特征之间的相互作用

3.无需依赖整个数据

SVM的缺点:

1.当观测样本很多时,效率并不是很高

2.有时候很难找到一个合适的核函数

为此,我试着编写一个简单的工作流,决定应该何时选择这三种算法,流程如下:

首当其冲应该选择的就是逻辑回归,如果它的效果不怎么样,那么可以将它的结果作为基准来参考;

然后试试决策树(随机森林)是否可以大幅度提升模型性能。即使你并没有把它当做最终模型,你也可以使用随机森林来移除噪声变量

如果特征的数量和观测样本特别多,那么当资源和时间充足时,使用SVM不失为一种选择。

决策树的优点:

1.直观的决策规则

2.可以处理非线性特征

3.考虑了变量之间的相互作用

决策树的缺点:

1.训练集上的效果高度优于测试集,即过拟合[随机森林克服了此缺点]

2.没有将排名分数作为直接结果