1 引言

卷积神经网络(Convolutional Neural Network,CNN)具有四个特点:局部连接、权值共享、池化操作及多层结构。其局部连接是相对于多层感知机(Multilayer Perceptron,MLP)的全连接特点说的。所以要介绍局部连接,我们首先要先提一下多层感知机,之后再引入CNN局部连接的原理,及具体表现。

2 多层感知机

多层感知机(Multilayer Perceptron,MLP)是由输入层、隐含层(一层或多层)及输出层构成的神经网络模型,可以解决单层感知器不能解决的线性不可分问题。下面是含有2个隐含层的多层感知器网络拓扑结构图。

卷积神经网络和全连接网络的区别 卷积神经网络局部连接_深度学习


可以发现,输入层神经元接收输入信号,隐含层和输出层的每一个神经元与之相邻层的所有神经元连接,即全连接

在深度学习研究中,可以了解到,深层神经网络更具有特征学习,抽象表达能力。但在多层感知机中,由于全连接的特性,且每个连接都有一个连接权值需要训练。所以在实际应用中,受到参数学习效率影响,多层感知机一般是不超过3层隐含层的浅层模型。也因此,其模型表达能力受限。

3 CNN

1962年,生 物 学 家 Hubel和 Wiesel通过对猫脑视觉皮层的研究,发现在视觉皮层中存在一系列复杂构造的细胞,这些细胞对视觉输入空间的局部区域很敏感,它们被称为“感受野”.感受野以某种方式覆盖整个视觉域,它在输入空间中起局部作用,因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性.
根据Hubel-Wiesel的层级模型,在该层级
结构中,处于较高阶段的细胞通常会有这样一个倾向:选择性地响应刺激模式更复杂的特征;同时还具有一个更大的感受野,对刺激模式位置的变化更加不敏感。
在多层感知机中,高层的每一个神经元要与前一层的所有神经元建立联系(特征关系),而根据感受野从局部到全局的理论,人对外界的认知是从局部到全局的,图像的空间联系也是局部间的像素联系较为紧密,与距离较远的像素相关性较低。因而,每个神经元其实没必要对全局图像进行感知,只需要局部抓取特征,然后在更高层将局部信息综合达到全局特征概括即可。
CNN网络部分连通受启发于生物学视觉系统结构,神经元只响应某些特定区域的刺激(视觉皮层的神经元局部接受信息),即在卷积层,特征面的每个通过卷积核(一组权值)与上一层特征面的局部区域连接。即卷积层中的神经元与其输入层中的特征面进行局部连接

卷积神经网络和全连接网络的区别 卷积神经网络局部连接_卷积_02

3.1 图像上卷积

理解卷积层计算过程,能很好的帮助理解局部连接特点。下面大部分内容有博主已经总结的很好,对于不足之处,我在博主内容基础上稍加修正。
来源于:。

在下图对应的计算过程中,输入是一定区域大小(width*height)的数据,和滤波器filter(带着一组固定权重的神经元)做内积后等到新的二维数据。
具体来说,左边是图像输入,中间部分就是滤波器filter(带着一组固定权重的神经元),不同的滤波器filter会得到不同的输出数据,比如颜色深浅、轮廓。相当于如果想提取图像的不同特征,则用不同的滤波器filter,提取想要的关于图像的特定信息:颜色深浅或轮廓。

如下图所示

卷积神经网络和全连接网络的区别 卷积神经网络局部连接_卷积_03

3.1.1 动态卷积图

在CNN中,滤波器filter(带着一组固定权重的神经元)对局部输入数据进行卷积计算。每计算完一个数据窗口内的局部数据后,数据窗口不断平移滑动,直到计算完所有数据。这个过程中,有这么几个参数:

  a. 深度depth:特征面(Feature Map)个数,同时代表滤波器个数,决定输出的depth厚度。(卷积层由多个特征面组成,每个特征面由多个神经元组成,它的每个神经元通过卷积核与上一层特征面的局部区域相连。)

  b. 步长stride:决定滑动多少步可以到边缘。

  c. 填充值zero-padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。

  

卷积神经网络和全连接网络的区别 卷积神经网络局部连接_计算机视觉_04


 

cs231n课程中有一张卷积动图,貌似是用d3js 和一个util 画的,我根据cs231n的卷积动图依次截取了18张图,然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示

输入是(773中,7*7代表图像的像素/长宽,3代表R、G、B 三个颜色通道)

卷积神经网络和全连接网络的区别 卷积神经网络局部连接_卷积_05

可以发现,对于单层特征面来说,数据窗口滑动,输入值在变化,但中间滤波器的窗口权重
是固定不变的。这个权重不变即是CNN中参数(权重)共享特点。

参考

卷积神经网络研究综述_周飞燕
卷积神经网络CNN(3)—局部连接CNN笔记:通俗理解卷积神经网络