线性整流函数,又称修正线性单元ReLU,是一种人工神经网络中常用的激活函数,通常指代以斜坡函数及其变种为代表的非线性函数。

R e L U ( x ) = max ⁡ ( 0 , x ) ReLU(x)=\max{(0, x)} ReLU(x)=max(0,x)

线性整流函数(ReLU函数)的特点:

  • 当输入为正时,不存在梯度饱和问题。
  • 计算速度快得多。ReLU 函数中只存在线性关系,因此它的计算速度比Sigmoid函数和tanh函数更快。
  • Dead ReLU问题。当输入为负时,ReLU完全失效,在正向传播过程中,这不是问题。有些区域很敏感,有些则不敏感。但是在反向传播过程中,如果输入负数,则梯度将完全为零,Sigmoid函数和tanh函数也具有相同的问题
  • ReLU函数的输出为0或正数,这意味着ReLU函数不是以0为中心的函数。

线性整流函数(ReLU函数)的图像:

机器学习中的数学——激活函数(三): 线性整流函数(ReLU函数)_激活函数