卷积神经网络LeNet-5

1. 概述

LeNet-5 诞生于1994年，是最早的深层卷积神经网络之一，推动了深度学习的发展。从1988年开始，在多次成功的迭代后，这项由Yann LeCun完成的开拓性成果被命名为LeNet-5。最初被用于手写数字识别，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。

2. 算法的基本思想

2.1. LeNet-5的网络结构

LeNet-5的网络结构入下图所示：

LeNet-5中主要由2个卷积层、2个下抽样层（池化层）、3个全连接层组成，其中：

• INPUT为输入，$32\times 32$的图片；
• C1为卷积，由$6$个卷积核的大小为$5\times 5$组成，stride为$1$，得到$6$个$28\times 28$的feature maps；
• S2为下采样，以$2\times 2$为单位的下抽样，使用的平均池化（Average Pooling），得到$6$个maps；
• C3为卷积，由$16$个卷积核的大小为$5\times 5$，stride为$1$，得到$16$个$10\times 10$的feature maps；
• S4为下采样，以$2\times 2$为单位的下抽样，使用的平均池化（Average Pooling），得到$16$个maps；
• C5为卷积，由$120$个卷积核的大小为$5\times 5$，stride为$1$，得到$120$个$1\times 1$的feature maps；

虽然LeNet-5现在已经很少使用，但是其是奠定了现代卷积神经网络的基石之作。

参考文献

[1] http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf