01

顺序的重要性

       在前面学习CNN神经网络的时候,我们可以发现,我们输入的每张图片都是孤立的。例如,输入与1张图片,网络认出这张图片里面的内容是苹果,并不会对认出下一张图片是西红柿造成影响。但是对于语言来说,顺序十分重要。例如:“吃饭没、没吃饭、没饭吃、饭没吃、饭吃没”,这些都是不同的含义。所以,顺序的改变,表达完全不同的意义。

rnn相关问题 rnn缺点_机器学习

 

     当然,顺序也表达了一定的信息,例如“吃”后面,大概率接的是食物名词。当然这里可能有小伙伴“刚”我,说“吃人”、“吃土”呢?我相信大多数人没这么血腥,我们都是善良的“宝宝”,对吧!当然“吃土”,也不至于这么惨!,这里讲的是一个大概率嘛。


02

RNN的概念

     为了找到这种顺序的关联,RNN就冒头了。RNN,Recurrent Neural Network,中文叫做循环神经网络。RNN是一个高度重视序列信息的网络。

rnn相关问题 rnn缺点_机器学习_02

 

       序列就是数据的前后关系。RNN的基础结构仍然是神经网络,只不过,它比其他神经网络多了一个小盒子,这个小盒子用来记录数据输入时网络的状态。在下以此网络输入的时候,网络必须要考虑小盒子中保存的信息,随着数据的一次次的输入,盒子中的信息也在不断的更新,盒子中的信息被称为隐状态。


03

RNN的应用

       和开始举出的例子一样,RNN最常见的应用领域是自然语言处理,机器翻译是寻找相同的意义序列,在不同的语言中进行表达。诗歌生成是基于主题,按照一定的规则生成有逻辑的词语序列,改变两端的信息类型。输入图片,输出句子,就是看图说话。

rnn相关问题 rnn缺点_目标检测_03

 

      语音同样可以看作声音信号根据时间顺序组成的序列。语音识别和语音生成,同样在RNN的能力范围内。股票价格也可以看着一个受时间影响的序列。很多量化交易模型的建立,就是基于这样的认知。

rnn相关问题 rnn缺点_人工智能_04


 

04

RNN的优缺点

      不过RNN有不是完美无瑕的,它也有缺点。数据输入的越早,在隐状态中占据的影响也就越小,也就是说,如果一个句子很长,RNN就容易忘记最开始说了啥。

rnn相关问题 rnn缺点_人工智能_05

       面对这种问题,人们提出了RNN的改良版--LSTM,长短时记忆模型。这个模型下节课再和小伙伴们分享!!!

好了,本节课到此位置