6.循环神经网络
6.1给神经网络增加记忆能力
前馈神经网络无法处理可变大小的输入，因此前馈神经网络限制了很多应用场景，比如处理长短不一的时序数据
前馈神经网络 每次输入都独立
延时函数z
得到延时单元再影响输出
自回归模型：和输入的y有关系
非线性自回归模型:不仅和时间变量y有关,还和外部输入x有关
另一种：循环神经网络
6.2循环神经网络
6.3应用到机器学习
6.4参数学习与长程依赖问题
γ大于1或小于1都会引起长程依赖问题
＞1：当t-k趋于无限时，梯度爆炸
＜1：当t-k趋于无限时，梯度消失
6.5如何解决长程依赖问题
6.6GRU与LSTM
GRU
Zt属于0到1上的一维向量
先算rt,Zt和ht，再根据图进行运算得到从ht-1到ht的转换LSTM
6.7深层循环神经网络
双向神经网络：语音识别、机器翻译等等
6.8循环网络应用
输入x1，得到y1，y1再作为输入x2，依次往下
6.9扩展到图结构
u:全局变量
vi:点
ek:边
更新
m(v)t 表示t时刻节点v需要更新的信息message（包括邻接节点、全局变量和邻接边）
m(v)t再和t-1时刻的h组合得到非线性函数表示为t时刻的h
然后不断更新
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
