循环神经网络（recurrent neural network,RNN）-------------------------重要结构（长短时记忆网络（ long short-term memory，LSTM））

主要介绍循环神经网络在自然语言处理（natural language processing,NLP）

 

传统的机器学习算法非常依赖人工提取的特征，使得基于传统机器学习的图像识别，语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网络的方法也存在参数太多，无法利用数据中时间序列信息等问题。

 

循环神经网络的主要用途是处理和预测序列数据----为了刻画一个序列当前的输出与之前信息的关系。（循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出）  

时刻的概念