（2020李宏毅）机器学习-深度学习技巧

Recipe of Deep Learning

---

three step of deep learning

---

• 定义函数集（网络结构）
• 函数的优点（损失函数——交叉熵）
• 选择最好的函数（梯度下降——优化）

overfitting就是在training set上performance很好，但在testing set上performance没有那么好
深度学习不是像k最近邻这种方法，一训练就可以得到非常好的正确率,深度学习一般不会过拟合

---

Good Results on Training Data

---

New activation function

---

ReLU

---

选择ReLU的理由如下：

• 跟sigmoid function比起来，ReLU的运算快很多
• ReLU的想法结合了生物上的观察( Pengel的paper )
• 无穷多bias不同的sigmoid function叠加的结果会变成ReLU
• ReLU可以处理Vanishing gradient的问题( the most important thing )

---

Leaky ReLU

---

---

Maxout

---

---

Adaptive learning rate

---

Adagrad

---

RMSProp

---

这里的$\alpha$值是自由调整的

Momentum

---

Adam

---

其实RMSProp加上Momentum, 就可以得到Adam
描述一下Adam的algorithm：

• 先初始化$m_{0}=0, m_{0}$就是Momentum中, 前一个时间点的movement
  再初始化$v_{0}=0, v_{0}$就是RMSProp里计算gradient的root mean square的$\sigma$
  最后初始化$t=0$, t用来表示时间点
• 先算出gradient$g_{t}$
  $g_{t}=\nabla_{\theta} f_{t}\left(\theta_{t-1}\right)$
• 再根据过去要走的方向$m_{t-1}$和gradient$g_{t}$, 算出现在要走的方向$m_{t}$一一Momentum
  $m_{t}=\beta_{1} m_{t-1}+\left(1-\beta_{1}\right) g_{t}$
• 然后根据前一个时间点的$v_{t-1}$和gradient$g_{t}$的平方, 算一下放在分母的$v_{t}--$RMSProp
  $v_{t}=\beta_{2} v_{t-1}+\left(1-\beta_{2}\right) g_{t}^{2}$
• 接下来做了一个原来RMSProp和Momentum里没有的东西, 就是bias correction，它使$m_{t}$和$v_{t}$都除上一个 值, 这个值本来比较小, 后来会越来越接近于1 (原理详见paper)
  $\begin{aligned} \hat{m}_{t} &=\frac{m_{t}}{1-\beta_{1}^{t}} \\ \hat{v}_{t} &=\frac{v_{t}}{1-\beta_{2}^{t}} \end{aligned}$
• 最后做update, 把Momentum建议你的方向$\hat{m}_{t}$乘上learning rate$\alpha$, 再除掉RMSProp normalize后建议的 learning rate分母，然后得到update的方向
  $\theta_{t}=\theta_{t-1}-\frac{\alpha \cdot \hat{m}_{t}}{\sqrt{\hat{v}_{t}}+\epsilon}$

Good Results on Testing Data？

---

Early Stopping

---

需要验证集来实现early stopping

---

Regulation

---

L2 regularization具体工作流程如下:

• 我们加上regularization term之后得到了一个新的loss function:$L^{\prime}(\theta)=L(\theta)+\lambda \frac{1}{2}\|\theta\|_{2}$
• 将这个oss function对参数$w_{i}$求微分:$\frac{\partial L^{\prime}}{\partial v_{i}}=\frac{\partial L}{\partial w_{i}}+\lambda w_{i}$
• 然后update参数$w_{i}: w_{i}^{t+1}=w_{i}^{t}-\eta \frac{\partial L^{\prime}}{\partial w_{i}}=w_{i}^{t}-\eta\left(\frac{\partial L}{\partial w_{i}}-\lambda w_{i}^{t}\right)=(1-\eta \lambda) w_{i}^{t}-\eta \frac{\partial L}{\partial w_{i}}$

L1 regularization的工作流程如下:

• 我们加上regularization term之后得到了一个新的loss function:$L^{\prime}(\theta)=L(\theta)+\lambda \frac{1}{2}\|\theta\|_{1}$
• 将这个loss function对参数$w_{i}$求微分：$\frac{\partial L^{\prime}}{\partial u_{i}}=\frac{\partial L}{\partial w_{i}}+\lambda \operatorname{sgn}\left(w_{i}\right)$
• 然后update参数$w_{i}: w_{i}^{t+1}=w_{i}^{t}-\eta \frac{\partial L^{\prime}}{\partial w_{i}}=w_{i}^{t}-\eta\left(\frac{\partial L}{\partial w_{i}}+\lambda \operatorname{sgn}\left(w_{i}^{t}\right)\right)=w_{i}^{t}-\eta \frac{\partial L}{\partial v_{i}}-\eta \lambda \operatorname{sgn}\left(w_{i}^{t}\right)$

---

Weight Decay

---

Dropout

---

Dropout真正要做的事情，就是要让你在training set上的结果变差，但是在testing set上的结果是变好的]