问题引入
说说你想项目中的激活函数，为啥选这个?有没有考虑过其他的激活函数？效果怎样？除此之外你还知道哪些激活函数？它们的应用场景是什么？优越点是什么？这个可能是经常被问到的问题。
问题解答首先，大家都知道，在计算神经网络每一层的激活值时，我们要用到激活函数，当然这里我们先不谈论为啥用激活函数，用了激活函数之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。
这里罗列了一些激活函数，大家还是多多掌握下，以及各个激活函数为啥这么出来，使用的场景是啥？比如为啥好好的sigmod不用，用reLu等类似问题？详细的大家可以看这里 。
参考：
https://blog.csdn.net/u013146742/article/details/51986575
https://www.jianshu.com/p/6df4ab7c235c
https://www.cnblogs.com/dudumiaomiao/p/6014205.html
https://baijiahao.baidu.com/s?id=1653421414340022957&wfr=spider&for=pc
喜欢就关注一下啦~~~
