深度神经网络应用举例 深度神经网络应用领域

文章目录

• 一、深度学习视觉应用

• 1.语义分割
• 2.风格迁移
• 3.人脸识别

• 二、循环神经网络

• 1.基本循环神经网络

一、深度学习视觉应用

  随着深度学习神经网络的发展和计算机存储与运算能力的提高，深度学习在视觉信息方面的应用越来越广泛。目前的热点领域有：目标检测、语义分割、风格迁移、人脸识别等。

1.语义分割

  图片分类的任务是给定一张图片，确定图片中主体部分的类别；目标检测的任务是确定图片中多个物体的分类及其在图片中的具体位置；语义分割的任务是在像素层面的，确定每个像素对应的分类。因此，语义分割可用于背景虚化、自动驾驶中的道路分割等应用场景。
语义分割常用的重要数据集为Pascal VOC2012，语义分割训练数据集中，图片作为训练数据，对应的标号是与训练图片大小相同的图片，即每个像素都有自己的标号。

2.风格迁移

  图像风格迁移是指将一幅内容图的内容（content）和一幅或多幅风格图的风格（style）融合在一起，从而生成新的图片的方法。风格迁移采用卷积神经网络将某图像中的样式应用在另一图像上，可用于图像处理软件的滤镜。
  其操作方法为：首先初始化合成图像（generated image），例如将其初始化成白噪声图像或内容图像，该合成图像是迁移过程中唯一需要更新的变量，即样式迁移所需迭代的模型参数；选择一个预训练的卷积神经网络来抽取图像的特征，其中的模型参数在训练中无须更新，深度卷积神经网络凭借多个层逐级抽取图像的特征，可以选择其中某些层的输出作为内容特征或样式特征，风格迁移中常使用VGG神经网络；接下来通过正向传播计算样式迁移的损失函数，并通过反向传播迭代模型参数，不断更新合成图像。
  样式迁移常用的损失函数由三部分组成：
（1）内容损失，是合成图像与内容图像在特征上接近；
（2）样式损失，是合成图像与样式图像在样式特征上接近；
（3）总变差损失，有助于减少合成图像中的噪点（总变差损失考量相邻两个像素之间变化的大小之和，降低总变差损失能够尽可能使邻近的像素值相似，总变差损失用于解决合成图像的风格不连贯的问题）。

3.人脸识别

（1）人脸识别解决问题的核心思想是将输入一张图片进行分类的问题转化为两张图片的比对问题，检测两张输入图片是否为同一个人。
（2）进行人脸识别功能的神经网络中采用相似度函数，对于输入图片$X_1$和$X_2$，定义相似度函数
$d=(X_1,X_2)=\Vert f(X_1)- f(X_2)\Vert_2^{2}$若$d=(X_1,X_2)<t$，$X_1$和$X_2$上是同一人，若$d=(X_1,X_2)>t$，$X_1$和$X_2$上不是同一人。
  人脸识别需要对特征进行提取和比较，而不是像素。

二、循环神经网络

  全连接神经网络和卷积神经网络中，前一个输入和后一个输入完全无关，但某些任务需要能更好地处理序列信息，即前一个输入和后一个输入相关，例如文本信息的处理需要将词连接起来，视频信息的处理需要将帧连接起来，因此需要使用循环神经网络（RNN，Recurrent Netural Network）。

1.基本循环神经网络

  基本的循环神经网络由输入层、一个隐藏层和一个输出层组成。向量s表示隐藏层的值，隐藏层的值s不仅取决于当前这次输入的x，还取决于上一次隐藏层的值s，权重矩阵W为隐藏层上一次的值作为这一次的输入的权重。

  网络在$t$时刻接收到输入$x_t$后，隐藏层的值是$s_t$，输出值是$o_t$。$s_t$的值取决于$x_t$和$s_{t-1}$。

$o_t=g(Vs_t)\\ s_t=f(Ux_t+Ws_{t-1})$上方等式为输出层的计算公式，输出层为全连接层，它的每个节点都和隐藏层的每个节点相连。$V$是输出层的权重矩阵，$g$是激活函数。下方等式是隐藏层的计算公式，隐藏层为循环层，$U$是输入$x$的权重矩阵，$W$是上一次的值$s_{t-1}$作为这一次的输入的权重矩阵，$f$是激活函数。

  通过权重矩阵$W$，循环神经网络的输出值受到前面历次输入值的影响，因此循环神经网络可以往前看任意多个输入值，这一特点很适用于处理文本信息。