第三次博客作业:卷积神经网络

 

一、视频学习心得

徐一凡:本次对于卷积神经网络的学习是一个知识体系的构建过程, 首先我进行了对于计算机图形学,深度学习以及传统神经网络的回顾,进行了回归函数,梯度算法的逐步推导。很自然的,传统神经网络的局限性以及过拟合问题的出现,对神经网络提出了更高的要求:在保留特征的同时减少了计算量和参数,与此同时,建立起了一个完整的由卷积层,池化层,全连接层交叉堆叠而成的卷积神经网络的体系,卷积层的功能是对于输入数据的特征提取。其余层不做赘述。同时每层之间也有权重连接,更加科学合理。此次学习我更学习到了很多诸如AlexNet、VGG、GoogleNet、ResNet的网络结构。同时利用实践进行了探索与巩固。

问题:对于神经网络的数据的获取收集能否使用神经网络进行筛选?(对于数据的获取收集的改进性)

宋蕾:1、卷积神经网络可以用于分类、检索、检测、分割、人脸识别(表情识别)、图像生成、图像风格转化、自动驾驶

2、传统神经网络是和图片上的每一个像素点连接,参数太多,容易过拟合,而卷积神经网络是局部关联,参数共享。池化在保留了主要特征的同时减少参数和计算量,防止过拟合,提高模型泛化能力。

3、卷积神经网络典型结构有:AlexNet(有百万级ImageNet图像数据训练,使用了非线性激活函数ReLU,使用Dropout,Data,augemntation防止过拟合,使用双GPU实现),ZFNet(网络结构与AlexNet相同,将卷积层1中的感受野大小由11*11改为7*7,步长由4改为2;卷积层3,4,5中的滤波器个数由384,384,256改为512,512,1024);VGG(一个更深网络);GoogleNet(网络包含22个才参数的层,独立成块的层总共有100个,参数量大概是Alexnet的1/12,没有FC层);ResNet(可以被用来训练非常深的网络)



郭夏敏:通过视频的学习,了解到卷积神经网络相对于传统神经网络的一些优势,传统神经网络权重矩阵的参数太多,容易发生过拟合,卷积神经网络通过局部关联,参数共享等方式解决了这一问题,在计算机视觉领域被广泛应用。对卷积神经网络的基本组成也有了一些了解:首先是卷积层,人在识别图片时不可能一下子识别整张图,一般是首先感知到图片中的一些局部特征,然后进一步得到全部信息,卷积要做的就是通过内积的数学操作计算出图像的特征图;而池化是对特征图进行降维,压缩数据和参数,方法主要有最大池化和平均池化;通常全连接层在卷积神经网络尾部,跟传统的神经网络神经元的连接方式是一样的,是经过若干卷积、池化后的输出层,将两层之间所有神经元都有权重连接。最后了解到一些卷积神经网络的典型结构。



雍家齐:总结 传统神经网络处理图片信息太复杂,容易导致权值无法更新,神经元不起作用了。

三层结构:

卷积层:同一层神经元共享卷积核,卷积核可以看作是特征提取器,在越靠近输入层的卷积层设定少

量的卷积核,越往后,卷积层设定的卷积核数目就越多。

池化层:通常来说,池化方法一般有一下两种:

MaxPooling:取滑动窗口里最大的值

AveragePooling:取滑动窗口内所有值的平均值

Flatten层 & Fully Connected Layer:。做完Max Pooling后,我们就会把这些数据“拍平”,丢到Flatten层,然后把Flatten层的output放到full connected Layer里,采用softmax对其进行分类。

问题:

如何才能更简单地设计出合适的卷积核



黄润子:卷积神经网络可以应用于分类、检索、检测、人脸识别等领域。全连接网络在处理图像时存在参数过多导致过拟合的问题。池化:保留主要特征的同时减少参数和计算量,防止过拟合,提高模型泛化能力。一般处于卷积层和卷积层之间,全连接层与全连接层之间。典型的卷积神经网络由卷积层、池化层、全连接层交叉堆叠而成。卷积层的功能是对输入数据进行特征提取,其内部包含多个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量,类似于一个前馈神经网络的神经元。



孙钦印:通过本次视频学习了解卷积神经网络,所谓“卷积神经网络”,就是结合卷积公式,建立类似神经元的生物学模型,再加上一堆激活函数、损失函数来修正加工,最后再梯度求导达到帮助AI进行深度学习的目的。一个卷积神经网络主要有5层组成:数据输入层,卷积计算层,ReLU 激励层,池化层,全连接层。相较传统的神经网络而言,卷积神经网络采取“局部关联,参数共享”的解决问题的方式,引入“池化”来减少参数。