损失函数是机器学习中常用于优化模型的目标函数,无论是在分类问题,还是回归问题,都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数是指预测结果和实际结果的差别,结构风险损失函数是指经验风险损失函数加上正则项。通常表示为:
θ*是我们通过损失函数最小化要求得的参数,一般都是通过梯度下降法来求得
1、0-1损失函数
0-1损失函数的表达式如下,常见于感知机模型中,预测正确则损失为0,预测错误则损失为1:
2、绝对值损失函数
3、对数损失函数
对数损失函数最常见的应用就是在逻辑回归中,其表达式如下:
4、平方损失函数
平方损失函数常见于回归问题中,如线性回归,其表达式如下:
5、指数损失函数
指数损失函数常见于Adaboost算法中,其表达式如下:
6、Hinge损失函数
Hinge损失函数常见与SVM中,有点类似于0-1损失函数,不同的是对于分类错误的点,其损失值不再是固定值1,而是和样本点离超平面的距离有关。其表达式如下;
其中l 是hinge函数,其标准形式如下:
除此之外还有一些不怎么常见的损失函数,比如在GBDT中的Huber损失函数等
需要记住的是:参数越多,模型越复杂,而越复杂的模型越容易过拟合。此时可以考虑正则化,通过设置正则项前面的hyper parameter,来权衡损失函数和正则项,减小参数规模,达到模型简化的目的,从而使模型具有更好的泛化能力。