深度学习算法原理——循环神经网络RNN

原创

wx64898f817b745 2023-06-14 19:35:59 ©著作权

©著作权归作者所有：来自51CTO博客作者wx64898f817b745的原创作品，请联系作者获取转载授权，否则将追究法律责任

1. 概述

循环神经网络（Recurrent Neural Networks, RNN）主要用于时序数据，最常见的时序数据如文章，视频等， $深度学习算法原理——循环神经网络RNN_深度学习$ 时刻的数据与 $深度学习算法原理——循环神经网络RNN_参考文献_02$ 时刻的数据存在内在的联系。RNN模型能够对这样的时序数据建模。

2. 算法原理

RNN模型的基本结构如下所示（图片来自参考文献）：

深度学习算法原理——循环神经网络RNN_数据_03

如上图所示，循环神经网络通过使用自带反馈的神经元，能够处理任意长度的时序数据，对此结构按照时间展开的形式如下所示（图片来自参考文献）：

深度学习算法原理——循环神经网络RNN_参考文献_04

2.1. RNN的结构

上图中给出了RNN的内部结构，RNN根据输入输出主要可以分为以下三种：

多输入单输出，如文本的分类问题；
单输入多输出，如描述图像；
多输入多输出，又分为等长或者不等长两种情况，等长如机器作诗，不等长如seq2seq模型；

这里以多输入单输出的情况为例，多输入单输出的具体结构如下所示：

深度学习算法原理——循环神经网络RNN_参考文献_05

2.2. RNN的计算过程

假设对于一个长度为 $深度学习算法原理——循环神经网络RNN_参考文献_06$ 的序列 $深度学习算法原理——循环神经网络RNN_参考文献_07$ ，其中 $深度学习算法原理——循环神经网络RNN_参考文献_08$ 是一个 $深度学习算法原理——循环神经网络RNN_数据_09$ 维的向量，假设RNN的输入 $深度学习算法原理——循环神经网络RNN_循环神经网络_10$ 的维度为 $深度学习算法原理——循环神经网络RNN_数据_11$ ，隐含层状态 $深度学习算法原理——循环神经网络RNN_深度学习_12$ 的维度为 $深度学习算法原理——循环神经网络RNN_参考文献_13$ ，RNN的状态更新公式为：

$深度学习算法原理——循环神经网络RNN_循环神经网络_14$

通常 $深度学习算法原理——循环神经网络RNN_深度学习_15$ 会设置为全 $深度学习算法原理——循环神经网络RNN_深度学习_16$ 的向量。模型中的参数 $深度学习算法原理——循环神经网络RNN_深度学习_17$ 的维度为 $深度学习算法原理——循环神经网络RNN_深度学习_18$ ， $深度学习算法原理——循环神经网络RNN_数据_19$ 的维度为 $深度学习算法原理——循环神经网络RNN_深度学习_20$ ， $深度学习算法原理——循环神经网络RNN_循环神经网络_21$ 的维度为 $深度学习算法原理——循环神经网络RNN_参考文献_13$ ，对于具体的分类问题，其输出为：

$深度学习算法原理——循环神经网络RNN_循环神经网络_23$

假设对于分类问题有 $深度学习算法原理——循环神经网络RNN_参考文献_24$ 个类别，则参数 $深度学习算法原理——循环神经网络RNN_参考文献_25$ 的维度为 $深度学习算法原理——循环神经网络RNN_参考文献_26$ ， $深度学习算法原理——循环神经网络RNN_循环神经网络_27$ 的维度为 $深度学习算法原理——循环神经网络RNN_数据_28$ 。最终的损失函数为：

$深度学习算法原理——循环神经网络RNN_参考文献_29$

其中

$深度学习算法原理——循环神经网络RNN_参考文献_30$

2.3. RNN中参数的求解

对于RNN模型，通常使用BPTT（BackPropagation Through Time）的训练方式，BPTT也是重复的使用链式法则，对于RNN而言，损失函数不仅依赖于当前时刻的输出层，也依赖于下一时刻。为了简单起见，以一个样本为例，此时的损失函数可以记为 $深度学习算法原理——循环神经网络RNN_数据_31$ ，模型的参数为 $深度学习算法原理——循环神经网络RNN_深度学习_32$ ，具体的求解过程如下所示：