​

1、使用relu作为激活函数时，因其在输入小于0时，输出为0，所以可能会造成dead relu，使得输出和梯度都为0；

2、上述文章中使用了多种方式尝试去改善，包括更多层，更多数据，改变初始化方式，使用leak relu（why）等都没有效果，最后使用了SELU解决了这个问题。

3、这篇文章主要是通过Tensorboard来观察dead relu这种现象，以前只会使用它来观察loss啊，accuracy等，以后也会观察下梯度了