认识:

        卷积神经网络(CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FNN),是深度学习的代表算法之一。卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,因此也被称为“平移不变人工神经网络。

        卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和非监督学习,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征,例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。

结构:

        输入层:

                卷积神经网络的输入层可以处理多维数据,常见地,一维卷积神经网络的输入层接收一维或二维数组,其中一维数组通常为时间或频谱采样;二维数组可能包含多个通道;二维卷积神经网络的输入层接收二维或三维数组;三维卷积神经网络的输入层接收四维数组 。由于卷积神经网络在计算机视觉领域应用较广,因此许多研究在介绍其结构时预先假设了三维输入数据,即平面上的二维像素点和RGB通道。

。输入特征的标准化有利于提升卷积神经网络的学习效率和表现

        隐含层:卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑,在一些更为现代的算法中可能有Inception模块、残差块等复杂构筑。在常见构筑中,卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数,而池化层不包含权重系数,因此在文献中,池化层可能不被认为是独立的层。以LeNet-5为例,3类常见构筑在隐含层中的顺序通常为:输入-卷积层-池化层-全连接层-输出。

应用:

检测任务

hnn神经网络 神经网络 cnn_hnn神经网络

 分类与检索:

hnn神经网络 神经网络 cnn_池化_02

超分辨率重构:

hnn神经网络 神经网络 cnn_深度学习_03

医学任务:

 

hnn神经网络 神经网络 cnn_hnn神经网络_04

 无人驾驶:

hnn神经网络 神经网络 cnn_神经网络_05

 人脸识别:

hnn神经网络 神经网络 cnn_池化_06

卷积结果计算公式:

长度:

hnn神经网络 神经网络 cnn_深度学习_07

宽度:

hnn神经网络 神经网络 cnn_cnn_08

 

其中W1、H1表示输入的宽度、长度;W2、H2表示输出特征图的宽度、长度;F表示卷积核长和宽的大小;S表示滑动窗口的步长;P表示边界填充(加几圈0)。

卷积层:卷积层的功能是对输入数据进行特征提取,其内部包含多个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连,区域的大小取决于卷积核的大小,在文献中被称为“感受野”,其含义可类比视觉皮层细胞的感受野。卷积核在工作时,会有规律地扫过输入特征,在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。

hnn神经网络 神经网络 cnn_池化_09

 

hnn神经网络 神经网络 cnn_cnn_10

 池化层:在卷积层进行特征提取后,输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数,其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同,由池化大小、步长和填充控制。

1. Lp池化(Lp pooling

Lp池化是一类受视觉皮层内阶层结构启发而建立的池化模型,其一般表示形式为

hnn神经网络 神经网络 cnn_hnn神经网络_11