attention卷积神经网络 卷积神经网络 filter_神经网络


与全连接网络相比,卷积神经网络中因为有深度depth,所以网络更加立体。

attention卷积神经网络 卷积神经网络 filter_初始化_02


attention卷积神经网络 卷积神经网络 filter_attention卷积神经网络_03


比如,输入尺寸为32×32×3,过滤器filter是5×5×3的,最终得到的是特征图为28×28×2的。

注意:
1、过滤器的深度必须要与他连接的上一层的输入深度一致,因为输入深度为3,所以filter的深度也为3;
2、在卷积时候可以指定filter的个数,特征图中的2代表用几个filter进行特征提取,最终会得到2个特征图,特征图之间关联不大,分别代表不同的过滤器提取出来的信息,将特征压缩之后就得到了最终卷积之后的结果.

attention卷积神经网络 卷积神经网络 filter_特征提取_04


通过设置6个filter,得到最终的卷积结果是一个28×28×6的特征图。

attention卷积神经网络 卷积神经网络 filter_attention卷积神经网络_05


卷积不仅可以在输入图片上进行,还可以在卷积之后的特征图上操作。例如,得到28×28×6的特征图之后,在此基础上,给定3×3×6(filter的深度与上一层特征图深度6一致)的10个filter,最终得到压缩后的深度为10的特征图。

attention卷积神经网络 卷积神经网络 filter_初始化_06


输入尺寸为7×7×3,初始化filter1 w0的尺寸为3×3×3,代表在图像上以多大的尺寸进行特征提取,filter1分别对应于f11、f12、f13.我们的目的是进行前向传播和反向传播以调节这些w,使得最终的loss最小。

卷积操作对蓝色区域和红色区域中对应的值求内积wx,f11与输入的R通道上的蓝色框内的数值进行内积,f12与G通道内积,f13与B通道进行内积,得到f11=0,f12=2,f13=0,再加上初始化的偏置b=1,最终得到绿色框左上角的值3.

attention卷积神经网络 卷积神经网络 filter_特征提取_07


当filter滑动到现在的蓝色框的位置,再做与前一张图片步骤一样的操作。重复上面的步骤,就可以得到上面的绿色框。

下面的绿色框对应的是filter2进行的卷积操作,如filter2 w1,再次对输入图像进行特征提取,将两个特征图堆叠在一起得到两个特征图。