一、前言

1、怎么控制一个模型的容量

  • 模型比较小(参数比较少)
  • 每个参数选择的值比较小

2、正则化就是用来限制参数值的取值范围来控制模型容量

权重衰退_取值范围

 

二、正则化

1、正则化的目的:防止过拟合

2、正则化其实可以理解为规则化。相当于一个限制,就是说可以给训练的目标函数加上一些规则(限制),让他们不要自我膨胀

 

三、权重衰减

1、通常称为L2正则化,是最广泛使用的正则化的技术之一。(L2范数:向量元素平方和的平方根) 

权重衰退_取值范围_02

 

2、L2正则化回归的小批量随机梯度下降

权重衰退_权重_03 

3、可以发现,我们根据估计值和观测值之间的差异来更新 w。较小的 λ 值对应较少约束的 w ,而较大的 λ 值对 w 的约束更大。