我们都知道在优化问题上,我们除了需要最小化训练误差,例如通过square loss,log loss,exp loss等,我们还需要同事兼顾模型的泛化性能,因此我们需要通过添加正则项来进行提高模型的泛化性能,同时添加上的正则项也能够帮助我们来减少测试上的误差,从而提高推荐上的效果(precision)。

1 L0范数与L1范数:

稀疏我们的目标参数(一般表示为W)的,不言而喻,当我们的参数矩阵W如果基本上都是为0的话,是不是就意味着我们不用考虑到输入矩阵(一般表示为X)上很多的特征,是不是就以为着在这一过程中进行了特征的自动选择,但是很多时候我们所看到的正则项往往是L1范数更多,而很少看到L0范数,没错,由于L0范数的求解释个NP-hard的问题,一般我们都会采用近似的方法来求算,正好L1范数是L0范数很好的凸近似优化,因此更多的paper上的方法采用的是L1范数。

使稀疏)。

2 L2范数

过拟合的问题,过拟合指的是:模型在训练的时候能够很好地减小训练误差,但是在预测阶段却是发现模型的测试误差很差,即在推荐系统中表示的状况是:模型的推荐效果并不让人满意。具体图示参照链接上的图示:欠拟合/合适的拟合/过拟合,L2范数是指向量中个元素的平方和再求平方根。