我们希望从一句话中提取出需要的信息,如目的地,时间等,那么我们就需要可以将每个单词转化为向量,然后进行一系列操作来得出,但有一个问题是在这句话中,到底是目的地还是出发地我们却不得而知,因此我们希望我们的这个算法模型能够具有记忆性,即记住 arrive与 leave,这也就引出了我们的RNN模型,其实就是我们需要一个模块来记住我们先前的内容
具有记忆的模型
从上图中可知,即使是相同的输入,由于先前记忆的差别,其输出也可能不同,同时如果我们调换了我们输入序列的顺序,那么其结果也是不同的,因此我们是需要考虑其顺序的。
如图便形成了我们的RNN模型
注意,这里我们并不是三个网络,而是同一个网络在三个不同的时间点被使用了三次。
关于存储隐藏层,其数据不可控,我们无法得知存储的数据,而存储输出层数据我们则可以得知,即可控的。
同时这个网络可以是双向的,这可以使其考虑数据更加全面。
**
LSTM输入门,输出门,遗忘门设计
**
以上便是LSTM的相关学习过程。