AI有道”,”公众号

重磅干货,第一时间送达

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习

卷积神经网络其实早在80年代,就被神经网络泰斗Lecun 提出[LeNet-5, LeCun 1980],但是由于当时的数据量、计算力等问题,没有得到广泛使用。

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_02

卷积神经网络的灵感来自50年代的诺贝尔生物学奖。Hubel & Wiesel, 1959,猫负责视觉的大脑区域,对于细小的线段感兴趣(而不是鱼),这个区域离眼睛远(而不是近)。

系列笔记 | 深度学习连载(6):卷积神经网络基础_卷积_03

1.卷积层 Convolutional Layer

卷积层中有filter,在image空间中不断滑动,进行点乘dot

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_04

filter 的dot的结果是一个数值,经过滑动dot,就会形成一个比原先照片小的层,厚度为1

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_05

filter可以有很多个,我们以6个filter为例

系列笔记 | 深度学习连载(6):卷积神经网络基础_卷积_06

2.卷积过程 Convolutional Process

卷积的过程,就是一系列的卷积层的组合:

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_07

每一层提取的feature 从low lever,mid level,high level 到可以分类的级别

系列笔记 | 深度学习连载(6):卷积神经网络基础_卷积_08

这里是一个图片分类的过程:

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_09

3.卷积计算 Convolutional Compute

(1)activation map 大小的计算 以7*7大小的图片为例

系列笔记 | 深度学习连载(6):卷积神经网络基础_卷积_10

(2)zero padding

zero padding 可以保持图片卷积后的大小

系列笔记 | 深度学习连载(6):卷积神经网络基础_卷积_11

(3)计算

举例:输入图片是32x32x3 有10个5x5的filter ,stride 是1 ,pad 2

输出的大小? 参数的多少?

系列笔记 | 深度学习连载(6):卷积神经网络基础_深度学习_12

Output volume size: (32+2*2-5)/1+1 = 32 spatially, so 32x32x10

Number of parameters in this layer? each filter has 553 + 1 = 76 params => 76*10 = 760

(4)总结

系列笔记 | 深度学习连载(6):卷积神经网络基础_优化技巧_13

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229、cs231n 、斯坦福大学cs224n课程。在这里,感谢这些经典课程,向他们致敬!

作者简介:武强 兰州大学博士,谷歌全球开发专家Google Develop Expert(GDE Machine Learing 方向) 


知乎:https://www.zhihu.com/people/Dr.Wu/activities 

漫画人工智能公众号:DayuAI-Founder