题引入

常用到的除了sigmoid函数之外,还有一个即tanh函数,它的出现又是由于什么原因或者说能解决什么问题呢?

问题解答

tanh的表达式如下:

tanh激活函数的优缺点是啥?_java

如果我们写成sigmoid函数的形式,则如下所示:

tanh激活函数的优缺点是啥?_java_02

看下tanh的函数和导数图像

tanh激活函数的优缺点是啥?_java_03

tanh激活函数的优缺点是啥?_java_04

tanh函数的优缺点:

优点
部分解决了sigmoid关于zero-centered的输出问题。导数范围变大在(0,1)之间,而sigmoid在 (0,0.25)之间,梯度消失问题有所缓解。


缺点
•幂运算,计算成本高 •梯度消失问题

    参考

https://blog.csdn.net/EngineerHe/article/details/100126694 https://www.cnblogs.com/missidiot/p/9378079.html

https://www.jianshu.com/p/857d5859d2cc

喜欢就关注一下啦~~~


tanh激活函数的优缺点是啥?_java_05