一维卷积神经网络(1D-CNN)

一维卷积常用在序列模型、自然语言处理领域;

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积神经网络

假设输入数据维度为8,filter维度为5;

不加padding时,输出维度为4,如果filter的数量为16,那么输出数据的shape就是

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积神经网络_02



二维卷积神经网络(2D-CNN)

二维卷积常用在计算机视觉、图像处理领域(在视频的处理中,是对每一帧图像分别利用CNN来进行识别,没有考虑时间维度的信息);

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积核_03

假设原始图像 shape 为

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积神经网络_04

(其中3为3个通道),使用32个大小为

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积核_05

(其中3为深度,与通道数相同)的卷积核对其进行卷积,得到特征图的shape为

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积神经网络_06



三维卷积神经网络(3D-CNN)

在神经网络的输入中增加时间这个维度(连续帧),神经网络就可以同时提取时间和空间特征,进行行为识别、视频处理;

比如:对3幅连续帧用三维卷积核进行卷积,可以理解为用3个不同的二维卷积核(二维卷积神经网络中使用的卷积核)卷积3张图,并将卷积结果相加(通过这种处理,网络就提取了时间之间的某种相关性);

三维卷积神经网络的训练和卷积神经网络的训练方式相同;​​参考:深度网络的训练过程与方法​

在文献《3D Convolutional Neural Networks for Human Action Recognition》中三维卷积与二维卷积的对比图如下:

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积_07

  

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积_08

上图的三维卷积是对连续的三帧图像进行卷积操作(堆叠多个连续帧组成一个立方体,在立方体中利用三维卷积核进行卷积,这样得到的每个特征map都与上一层中3个邻近的连续帧相连);

三维卷积神经网络架构如下图:

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积神经网络_09

input:7张大小为

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积_10

的连续帧;

hardwired,H1:通过设定的hardwired kernels获得5种特征(灰度、x方向梯度、y方向梯度、x方向光流、y方向光流),前三个特征可以对每帧分别操作获得,光流则需要利用2帧信息获得,所以H1层特征map数量为7+7+7+6+6=33;

convolution C2:3D卷积核的大小为

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积_11

(3为时间维度),即每次操作3帧图像,采用了2种不同的3D卷积核,增加了maps数量;

sub-sampling S3:按照图中降采样后maps数量保持不变,maps大小减半;

 

更多《计算机视觉与图形学》知识,可关注下方公众号:

一维卷积(1D-CNN)、二维卷积(2D-CNN)、三维卷积(3D-CNN)_卷积_12