sigmoid函数和relu函数 sigmoid函数的作用

1.激活函数和损失函数

在神经网络中，除了基本的矩阵运算外，还会涉及两个函数的操作。

1.1 激活函数

激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，网络只能表示特征的线性映射，即便有再多隐藏层，其整个网络也和单层网络是等价的。激活函数应该具有的性质：

• 可微性：后向传播寻优，需要这个性质。
• 单调性：保证单层网路是凸函数。
• 输出值的范围：有限范围时，基于梯度的优化方法更加稳定，因为特征的表示受有限权值得影响更显著；无限时，模型训练更高效，不过此时一般需要更小的learning rate。

常见的激活函数多是分段线性和具有指数形状的非线性函数。

sigmoid函数

$\[f(x)=\frac{1}{1+e^x}\]$

sigmoid函数是应用范围最广的一类激活函数，它在物理意义上接近生物神经元，此外（0，1）的输出区间也可以用来表示概率。然而，sigmoid也有其自身的缺陷，最明显的是饱和性，其两侧导数值逐渐趋近于0。
\[\lim_{x->\infty}f'(x)=0\]

具有这种性质的称为软饱和激活函数，饱和又分为左饱和与右饱和。与软饱和相对的是硬饱和，即：
\[ f'(x)=0, |x|>c ,c为常数 \]

sigmoid的软饱和性，使得深度神经网络在二三十年里一直难以有效的训练，是阻碍神经网络发展的重要原因。

具体来说，后向传播中，sigmoid的传导因子中包含\(f'(x)\)因子，因此一旦落入饱和区，\(f'(x)\)就变得接近于0，导致向底层传递的梯度非常小。此时网络参数很难得到有效的训练，称这种现象为梯度消失，一般来说，sigmoid网络在5层内就会产生梯度消失现象。

此外，sigmoid函数的输出大于0，均值不为0，称之为偏移现象，在前向传播中，后层神经元得到上一层的输出始终是非0的信号。

tanh函数

$\[ f(x)=\frac{1-e^{-2x}}{1+e^{-2x}} \]$

tanh函数也是一种常见的激活函数，与sigmoid相比，其均值为0，使得其收敛速度比sigmoid要快。然而由于tanh也具有软饱和性，从而会带来梯度消失。

ReLU,P_ReLU,Leaky-ReLU

$\[ f(x)= \begin{cases} x, \; if \; x\geq 0\\ 0, \; if \; x<0 \end{cases}\\ f(x)=max(0,x) \]$

ReLU的全称是Rectified Linear Units，是一种后来才出现的激活函数。可以看到，当x<0时，ReLU硬饱和，而当x>0时，则不存在饱和问题。所以ReLU在x>0时保持梯度不衰减，从而缓解了梯度消失的问题，这让我们可以直接以监督的方式训练深层神经网络，而无需依赖逐层的预训练。

然而，随着训练的推进，部分输入落入硬饱和区，导致对应权重无法更新，形成“死亡神经元”。且与sigmoid类似，ReLU的输出均值>0，偏移现象和死亡神经元会影响网络的收敛性。改进得：

\[ f(x)= \begin{cases} x, \; if \; x \geq 0 \\ ax, \; if \; x <0 \end{cases} \]

这就是Leaky-ReLU，而P-ReLU认为，α也可以作为一个参数来学习，原文献建议初始化a为0.25，不采用正则。

ELU

$\[ f(x)= \begin{cases} x, \;\;\;\;\;\;\;\;\;\;\;if x\geq 0\\ \alpha (e^x-1), \;if x<0 \end{cases} \]$

融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。右侧线性部分可以缓解梯度消失，而左侧的软饱和能让ELU对输入的变化和噪声更加鲁棒。ELU的均值接近于0。在ImageNet上，不加BN30层以上的ReLU网络无法收敛，而ELU网络可以收敛。

MaxOut

\[ f(x)=max(w_1^Tx+b_1, w_2^Tx+b_2,\cdots,w_n^T+b_n) \]

maxout可以近似任意连续函数，且当\(w_2,b_2,w_3,b_3...=0\)时，退化成了ReLU。Maxout可以缓解梯度下降，同时又避免了ReLU神经元死亡的缺点，但增加了参数和计算量。

1.2 损失函数

前面，我们使用的是平方差函数
$\[ C=\frac{1}{2}(a-y)^2 \]$

当神经元的输出和我们的期望差距越大，损失越严重。
但是在实际中，我们知道：

$\[ \frac{\partial C}{\partial W}=(a-y)\sigma$

其中都有\(\sigma'(a)\)这一项，因为sigmoid函数的性质，导致\(\sigma'(z)\)在z的大部分情况下都会造成饱和现象，从而导致参数的更新很慢，所以我们想到了交叉熵，交叉熵的计算公式为：

$\[ H(y,a)=-\sum_i{y_{i}*log(a_i)} \]$

如果有多个样本，整体的平均交叉熵为

$\[ H(y,a)=-\frac{1}{n}\sum_n\sum_i{y_{i,n}*log(a_{i,n})} \]$

其中，n为样本编号，i为类别编号。

以logistic分类为例：$\(H(y,a)=-\frac{1}{n}\sum_n{ylog(a) + (1-y)log(1-a)}\)$

与平方损失函数相比，交叉熵具有非常好的性质：

$\[ \frac{\partial{H}}{\partial{z}} = \frac{1}{n} \sum_n{\frac{y}{a}*a*(1-a) - \frac{1-y}{1-a}*a(1-a)} = \frac{1}{n}\sum{(\sigma(z_n)-y_n)} \]$

可见，消除了\(\sigma'\)这一项，这样便不会受最后一个激活函数的影响，误差大时更新大，误差小时跟新小。

激活函数比较：http://www.jianshu.com/p/22d9720dbf1a

softmax激活函数

softmax也是我们常见的激活函数主要用于多分类神经元的输出。

$\[ y_j = f(z_j) = \frac{e^{z_j}}{\sum_k{e^{z_k}}} \]$

直接输出各个类别的概率：

• 1 >\(y_i\)
• \(\sum_k{y_k}\)

如果某个\(z_j\)大于其他z，那么它的映射分量就会逼近1，其他逼近0。取对数，模拟max的行为，让大的更大，且保证可导。

sigmoid用于二分类，softmax可用于多分类。在二分类问题时，softmax和sigmoid是一样的(\(z'=z_2-z_1\))：

$\[ h(x) = \frac{e^{z_1}}{e^{z_1} + e^{z_2}} = \frac{1}{1+e^{z_2-z_1}} = \frac{1}{1+e^{z$

softmax的求导见：https://zhuanlan.zhihu.com/p/25723112

2.优化方法

主要介绍一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率。

BGD

即batch gradient descent，在训练中，利用现有参数对训练集中的每一个输入生成一个估计输出\(\hat{y_i}\)，然后跟实际输出\(y_i\)比较，统计所有误差，求平均以后得到平均误差，以此来作为更新参数的依据。

具体实现:
需要:学习速率 ϵ, 初始参数θ
每步迭代过程:

1. 提取训练集中的所有内容\(\{x_1,...x_n\}\),以及相关的输出\(y_i\)
2. 计算梯度和误差并更新参数:

$\[ \begin{align*} &\hat g \leftarrow +\frac{1}{n}\nabla_\theta \sum_i L(f(x_i;\theta),y_i) \\ &\theta \leftarrow \theta-\epsilon\hat g \end{align*} \]$

优点:
由于每一步都利用了训练集中的所有数据，因此当损失函数达到最小值以后，能够保证此时计算出的梯度为0。换句话说，就是能够收敛。因此，使用BGD时不需要逐渐减小学习速率 ϵ。
缺点:
由于每一步都要使用所有数据，因此随着数据集的增大，运行速度会越来越慢。

SGD

SGD全名stochastic gradient descent，即随机梯度下降。不过这里的SGD其实跟MBGD(minibatch gradient descent)是一个意思，即随机抽取一批样本，以此为根据来更新参数。
具体实现:
需要:学习速率 ϵ, 初始参数 θ
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\),以及相关的输出\(y_i\)
2. 计算梯度和误差并更新参数:

\[ \begin{align*} & \hat g \leftarrow +\frac{1}{m}\nabla_\theta \sum_i L(f(x_i;\theta),y_i)\\ & \theta \leftarrow \theta-\epsilon\hat g \end{align*} \]

优点:
训练速度快，对于很大的数据集，也能够以较快的速度收敛。

缺点:
由于是抽取，因此不可避免的，得到的梯度肯定有误差。因此学习速率需要逐渐减小，否则模型无法收敛。因为误差，所以每一次迭代的梯度受抽样的影响比较大，也就是说梯度含有比较大的噪声，不能很好的反映真实梯度。

这样一来，ϵ如何衰减就成了问题，如果要保证SGD收敛，应该满足如下两个要求:

$\[ \begin{align*} &\sum_{k=1}^\infty \epsilon_k = \infty \\ &\sum_{k=1}^\infty \epsilon_k^2 <\infty \end{align*} \]$

而在实际操作中，一般是进行线性衰减:

$\[ \begin{align*} &\epsilon_k=(1-\alpha)\epsilon_0+\alpha\epsilon_\tau\\ &\alpha = \frac{k}{\tau} \end{align*} \]$

其中\(\epsilon_0\)是初始学习率，\(\epsilon_\tau\)是最后一次迭代的学习率。\(\tau\)自然代表迭代次数。
一般来说，\(\epsilon_\tau\)设为\(\epsilon_0\)的1%比较合适。而\(\tau\)一般设为让训练集中的每个数据都输入模型上百次比较合适。
那么初始学习率\(\epsilon_0\)怎么设置呢?书上说，你先用固定的学习速率迭代100次，找出效果最好的学习速率，然后\(\epsilon_0\)设为比它大一点就可以了。

Momentum

上面的SGD在每次迭代中都包含较大的噪音，而Momentum可以较好地解决这个问题，尤其是面对小而连续的梯度但含有很多噪声的时候。Momentum借用了物理中动量的概念，将前几次的梯度也参与到运算中。

具体实现:
需要:学习速率 ϵ，初始参数 θ，初始速率v，动量衰减参数α
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\),以及相关的输出\(y_i\)
2. 计算梯度和误差，并更新速度v和参数θ:

$\[ \begin{align*} & \hat g \leftarrow +\frac{1}{m}\nabla_\theta \sum_i L(f(x_i;\theta),y_i)\\ & v\leftarrow\alpha v-\epsilon\hat g \\ & \theta\leftarrow\theta+v \end{align*} \]$

其中，\(\alpha\)表示动量的衰减程度，如果每次迭代得到的梯度都是g，那么最终得到的\(v=\frac{\epsilon||g||}{1-\alpha}\)。

也就是说，Monentum最好的情况下可以将学习率加速\(\frac{1}{1-\alpha}\)倍。一般α的取值有0.5，0.9，0.99这几种，当然也可以让α的值随着时间而变化，开始小一点，后来再加大。

特点：
前后梯度方向一致时，能够加速学习。前后梯度方向不一致时，能够抑制震荡。

Nesterov Momentum

先对参数进行估计，然后使用估计后的参数进行误差计算

具体实现:
需要:学习速率 ϵ，初始参数 θ，初始速率v，动量衰减参数α
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\),以及相关的输出\(y_i\)
2. 计算梯度和误差，并更新速度v和参数θ:

$\[ \begin{align*} & \hat g \leftarrow +\frac{1}{m}\nabla_\theta \sum_i L(f(x_i;\theta+\alpha v),y_i)\\ & v\leftarrow\alpha v-\epsilon\hat g \\ & \theta\leftarrow\theta+v \end{align*} \]$

注意在估算\(\hat{g}\)的时候,参数变成了\(\theta+\alpha v\)而不是之前的θ。

AdaGrad

AdaGrad可以自动变更学习速率，只是需要设定一个全局的学习速率ϵ，但是这并非是实际学习速率，实际的速率是与以往参数的模之和的开方成反比的。

$\[ \epsilon_n=\frac{\epsilon}{\delta+\sqrt{\sum_{i=1}^{n-1}g_i\odot g_i}} \]$

其中\(\delta\)是一个很小的常亮,大概在\(10^{−7}\)，防止出现除以0的情况。

具体实现:
需要:全局学习速率 ϵ，初始参数 θ，数值稳定量δ
中间变量: 梯度累计量r(初始化为0)
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\)，以及相关的输出\(y_i\)
2. 计算梯度和误差，更新r，再根据r和梯度计算参数更新量

$\[ \begin{align*} & \hat g \leftarrow +\frac{1}{m}\nabla_\theta \sum_i L(f(x_i;\theta),y_i)\\ & r\leftarrow r+\hat g\odot \hat g \\ & \triangle \theta = -\frac{\epsilon}{\delta+\sqrt{r}}\odot \hat g \\ & \theta\leftarrow\theta+\triangle \theta \end{align*} \]$

优点:
能够实现学习率的自动更改。如果这次梯度大，那么学习速率衰减的就快一些；如果这次梯度小，那么学习速率衰减的就满一些。

缺点:
任然要设置一个变量ϵ
经验表明，在普通算法中也许效果不错，但在深度学习中，深度过深时会造成训练提前结束。

RMSProp

通过引入一个衰减系数，让r每回合都衰减一定比例，类似于Momentum中的做法。

具体实现:
需要:全局学习速率 ϵ，初始参数 θ，数值稳定量δ，衰减速率ρ
中间变量: 梯度累计量r(初始化为0)
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\),以及相关的输出\(y_i\)
2. 计算梯度和误差，更新r，再根据r和梯度计算参数更新量

$\[ \begin{align*} & \hat g \leftarrow +\frac{1}{m}\nabla_\theta \sum_i L(f(x_i;\theta),y_i)\\ & r\leftarrow \rho r+(1-\rho)\hat g\odot \hat g \\ & \triangle \theta = -\frac{\epsilon}{\delta+\sqrt{r}}\odot \hat g \\ & \theta\leftarrow\theta+\triangle \theta \end{align*} \]$

优点：
相比于AdaGrad，这种方法很好的解决了深度学习中过早结束的问题
适合处理非平稳目标，对于RNN效果很好

缺点：
又引入了新的超参，衰减系数ρ
依然依赖于全局学习速率

RMSProp with Nesterov Momentum

将RMSProp和Nesterov Momentum结合起来的

$\[ \begin{align*} & \tilde \theta \leftarrow \theta + \alpha v \\ & \hat g \leftarrow +\frac{1}{m}\nabla_{\tilde \theta} \sum_i L(f(x_i;\tilde \theta),y_i)\\ & r\leftarrow \rho r+(1-\rho)\hat g\odot \hat g \\ & v \leftarrow \alpha v-\frac{\epsilon}{\sqrt r}\odot \hat g \\ & \theta\leftarrow\theta+v \end{align*} \]$

Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

具体实现:
需要:步进值 ϵ, 初始参数 θ, 数值稳定量δ，一阶动量衰减系数\(\rho_1\), 二阶动量衰减系数\(\rho_2\)
其中几个取值一般为：\(\delta=10^{-8},\rho_1=0.9,\rho_2=0.999\)
中间变量：一阶动量s，二阶动量r，都初始化为0
每步迭代过程:

1. 从训练集中的随机抽取一批容量为m的样本\(\{x_1,…,x_m\}\)，以及相关的输出\(y_i\)
2. 计算梯度和误差，更新r和s，再根据r和s以及梯度计算参数更新量

$\[ \begin{align*} & g \leftarrow +\frac{1}{m}\nabla_{\theta} \sum_i L(f(x_i;\theta),y_i)\\ & s \leftarrow \rho_1s+(1-\rho_1)g \\ & r\leftarrow \rho_2 r+(1-\rho_2)g\odot g \\ & \hat s \leftarrow \frac{s}{1-\rho_1} \\ & \hat r \leftarrow \frac{r}{1-\rho_2} \\ & \triangle \theta = -\epsilon \frac{\hat s}{\sqrt{\hat r}+\delta} \\ & \theta\leftarrow\theta+\triangle \theta \end{align*} \]$