6.循环神经网络

6.1给神经网络增加记忆能力

神经网络sigmoid反归一化 神经自回归网络_神经网络


前馈神经网络无法处理可变大小的输入,因此前馈神经网络限制了很多应用场景,比如处理长短不一的时序数据

前馈神经网络 每次输入都独立

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_02


神经网络sigmoid反归一化 神经自回归网络_循环神经网络_03


延时函数z

得到延时单元再影响输出

神经网络sigmoid反归一化 神经自回归网络_神经网络_04


自回归模型:和输入的y有关系

非线性自回归模型:不仅和时间变量y有关,还和外部输入x有关

另一种:循环神经网络

6.2循环神经网络

神经网络sigmoid反归一化 神经自回归网络_深度学习_05


神经网络sigmoid反归一化 神经自回归网络_机器学习_06


神经网络sigmoid反归一化 神经自回归网络_神经网络_07


神经网络sigmoid反归一化 神经自回归网络_神经网络_08

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_09


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_10

6.3应用到机器学习

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_11

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_12

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_13


神经网络sigmoid反归一化 神经自回归网络_神经网络_14


神经网络sigmoid反归一化 神经自回归网络_机器学习_15

6.4参数学习与长程依赖问题

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_16


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_17


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_18

γ大于1或小于1都会引起长程依赖问题
>1:当t-k趋于无限时,梯度爆炸
<1:当t-k趋于无限时,梯度消失

6.5如何解决长程依赖问题

神经网络sigmoid反归一化 神经自回归网络_深度学习_19


神经网络sigmoid反归一化 神经自回归网络_神经网络_20

6.6GRU与LSTM

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_21


GRU

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_22


Zt属于0到1上的一维向量

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_23


先算rt,Zt和ht,再根据图进行运算得到从ht-1到ht的转换LSTM

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_24


神经网络sigmoid反归一化 神经自回归网络_神经网络_25

6.7深层循环神经网络

神经网络sigmoid反归一化 神经自回归网络_深度学习_26


神经网络sigmoid反归一化 神经自回归网络_神经网络_27


双向神经网络:语音识别、机器翻译等等

神经网络sigmoid反归一化 神经自回归网络_机器学习_28

6.8循环网络应用

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_29

神经网络sigmoid反归一化 神经自回归网络_机器学习_30


输入x1,得到y1,y1再作为输入x2,依次往下

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_31


神经网络sigmoid反归一化 神经自回归网络_深度学习_32


神经网络sigmoid反归一化 神经自回归网络_深度学习_33


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_34


神经网络sigmoid反归一化 神经自回归网络_机器学习_35

6.9扩展到图结构

神经网络sigmoid反归一化 神经自回归网络_深度学习_36


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_37


神经网络sigmoid反归一化 神经自回归网络_神经网络_38


神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_39


神经网络sigmoid反归一化 神经自回归网络_循环神经网络_40


神经网络sigmoid反归一化 神经自回归网络_深度学习_41


神经网络sigmoid反归一化 神经自回归网络_神经网络_42


神经网络sigmoid反归一化 神经自回归网络_神经网络_43

u:全局变量

vi:点

ek:边

神经网络sigmoid反归一化 神经自回归网络_循环神经网络_44


更新

神经网络sigmoid反归一化 神经自回归网络_神经网络sigmoid反归一化_45


m(v)t 表示t时刻节点v需要更新的信息message(包括邻接节点、全局变量和邻接边)

m(v)t再和t-1时刻的h组合得到非线性函数表示为t时刻的h

然后不断更新