**计算Leaky ReLU激活函数

tf.nn.leaky_relu(

features,

alpha=0.2,

name=None )

参数: features:一个Tensor,表示预激活

alpha:x<0时激活函数的斜率

ame:操作的名称(可选)

返回值:激活值

**

非饱和激活函数:Leaky ReLU的图像

数学表达式: y = max(0, x) + leak*min(0,x)

优点:

1.能解决深度神经网络(层数非常多)的“梯度消失”问题,浅层神经网络(三五层那种)才用sigmoid 作为激活函数。

2.它能加快收敛速度。

————————————————