文章
- RNN(Recurrent Neural Network)
- 长短时记忆网络LSTM
RNN(Recurrent Neural Network)
RNN称为循环神经网络或者递归神经网络。在过去几年RNN在语言识别,自然语言处理,翻译以及图像描述等领域有着非常好的应用。
处理图片分类的时候,可以把图片一张一张放入分类器中独立进行判断。但是处理语音以及文字的时候,不能把发音独立,也不能把文字独立,要连起来分析才行。传统的神经网络做不到这一点。
RNN有一个反馈回路,这个反馈回路会把上一个时间的输出信息,作为下一个时间的输入来处理。
The Problem of Long-Term Dependencies:
RNN一个重要的用法就是通过之前的信息来决策当前的问题。
例子1:有一朵云飘在()
例子2:我从小生长在中国。。。我可以说一口流利的()。
越到后面,前面对后面的预测影响就越小。
长短时记忆网络LSTM
LSTM(Long Short Term Memory):
LSTM网络是一种特殊的RNN,只不过有着更复杂的结构,在LSTM网络中使用了上图的block替换了原来隐藏层的神经元。
每一个门的输入都来各种自不同的信号,组成成分复杂。
这个是改进后的LSTM网络的结构,大体上和之前的版本是差不多的,主要是多了一个忘记门。忘记门是直接对细胞体进行操作的,本来输入输出门只是起到对信号流入和流出的控制,加上这个忘记门我们就可以控制细胞体里面的值,从而可以控制我们是要记住这个信号,还是慢慢忘记这个信号
每个门的输入都是相同的,不过他们起到的作用不同,输入门是负责控制输入信号的,输出门负责输出信号的,忘记门是用来决定是否忘记信号的。
总结就一句话,LSTM比常规RNN强,可以达到更好的效果。