1、激活函数
线性的表达能力太有限了,即使经过多层网络的叠加,y=wx+b无论叠加多少层最后仍然是线性的,增加网络的深度根本没有任何意义。线性回归连最简单的“异或”都无法拟合,所以需要对线性输出作非线性变换。因为线性模型的表达能力不够,激活函数的作用是用来增加非线性因素的,通过激活函数,神经网络可以拟合各种曲线。所以我们需要对线性输出做非线性变换,这个变换需要满足以下条件:1非线性,这样增加网络的深度才有意义。2可导,梯度下降。3易于计算。基于此,下面列出了几个常见的激活函数sigmoid、tanh、relu、leakrelu、softmax等激活函数。
1.1、sigmoid激活函数
计算公式和图像:
总结:sigmoid的函数在定义域内处处可导,且两侧导数逐渐趋近于0。如果x很大或者很小,则函数的梯度会非常小,网格参数很难得到有效训练,会出现梯度消失的情况。还有,该激活函数不是以0为中心的。sigmoid函数只用于输出层的二分类问题。
1.2、tanh激活函数
计算公式和图像:
总结: 与sigmoid函数相比,它是以0为中心,使得收敛的速度变快,减少迭代次数。然而,tanh两侧的导数也为0,会造成梯度消失的情况。可以使用归一化处理,使得数据在0附近的区间内。
1.3、relu激活函数
计算公式和图像:
总结:relu是目前常用的激活函数,relu能够在x>0时保持梯度不变从而解决梯度消失的问题,然而随着训练的推进,部分落入小于0区域,导致权重无法更新,这种现象称为“神经元死亡”。
1. 4、leakrelu激活函数
计算公式和图像:
1.5、softmax激活函数
计算公式和图像:
总结:softmax用于多分类问题,它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。
1.6、如何选择激活函数
对于隐藏层:优先选择relu,如果效果不太好,选择leakrelu,不要使用sigmoid,可以尝试使用tanh激活函数。
对于输出层,如果是二分类问题选择sigmoid激活函数,如果是多分类问题选择softmax激活函数,回归问题输出层不需要激活函数。