小白深度学习入门系列
1. 直观理解深度学习基本概念
2. 白话详解ROC和AUC
3. 什么是交叉熵
4. 神经网络的构成、训练和算法
5. 深度学习的兴起：从NN到DNN
异军突起的激活函数：ReLU
ReLU的兴起
从NN进入到DNN之后，直接的影响是：ReLU的大量应用。
ReLu是激活函数的一种，其实在前面章节里面我们就已经见过它了：
就是这么简单的一个函数，在DNN时代代替了NN时代的激活函数王者：Sigmod，成了“调参侠”的最爱。
为什么要用ReLU呢？
这个问题有点像问，吃涮羊肉为什么蘸芝麻酱？
标准答案是：10亿AI调参侠都在用，用了都说好。
但如果我们稍微深究一下，会更加深记忆，也增加对深度学习过程的理解。
首先我们要明白，为什么要蘸东西吃？即：
为什么要使用sigmoid，tanh，ReLU等非线性函数？
这个原因大家都知道，为了增加非线性呗！
深度学习的目的是用一堆神经元堆出一个函数大致的样子，然后通过大量的数据去反向拟合出这个函数的各个参数，最终勾勒出函数的完整形状。
那如果激活函数只是线性函数，那一层层的线性函数堆起来还是线性的，这年头线性函数能干啥呀？
肯定不行，这样整个网络表现能力有限，所以要引入非线性的激活函数进来。
就是铅笔不够画的，咱得上带颜色、笔触更丰富的油画笔。
ReLU的优势在哪儿呢？
我们先来对比一下ReLU和他的老对手sigmoid：
ReLU函数：
Sigmoid函数：
对比这俩函数能看出来，sigmoid有一个“梯度消失”的问题。
梯度消失什么意思呢？就是我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了。
相比之下，ReLU输出就很稳定，因为他z>0区间就是一个线性函数！不存在sigmoid的梯度消失的问题。
另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大；不符合的，一刀切掉。
反观sigmoid就要黏糊的多。这个函数是很对称很美，但它面对负的z值仍然剪不断理还乱，会输出一个小的激励值（tanh会好一些但仍不能避免），形成所谓的“稠密表示”。
最后的最后，ReLU运算速度快，这个很明显了，max肯定比幂指数快的多。
天下武功，唯快不破。
ReLU有什么弱点？
当然，ReLU并不是完美的，它也存在被称为“dying ReLU”的问题——当某个ReLU神经元的输出为0时（输入小于0），它在反向传播时的梯度为0。这会导致该神经元“死亡”并影响一部分与之相连的神经元的训练效果。
为了解决这个问题，研究人员对ReLU进行了一些改进， Leaky ReLU 是其中比较知名的一种。
如图所示，Leaky ReLU将ReLU的 x < 0 部分修改成 0.01x，以此来让“死去”的神经元有机会恢复活力。
在实际应用中，因为不同ReLU变种之间的准确度区别很小，所以并不总是选用Leaky ReLU等变种。
对ReLU或其变种的选择可以根据模型的具体特性或实验结果决定。由于大多数深度学习类库都提供内建的ReLU模块，可以以较低的成本应对ReLU及其变种的性能差异。
此外，“dying ReLU”问题也可以通过降低学习率，加入bias等方式解决。
ReLU并不是终点，对激励函数的研究在行业内非常活跃，这里先不展开了。
“众智汇”愿景
尽职尽才，允公允能 —— 本社群不定期举行线上分享，组织群友分享知识、经验、资源，以达到让我们每个人的职业生涯得到最大程度的发展的目的。
