AlexNet
大致框架AlexNet是深度神经网络的开山之作，其中包括前五层是卷积层、三层的全连接层、和softmax层分类。其中使用了ReLU激活函数、局部响应归一化、重叠池化、在最后一层的全连接上dropout。
优点：使得速度变快，使用relu激活函数，使用重叠池化，droupout等，提高了精度发挥了很重要的作用，使用GPU加快了训练。
缺点：参数量很多，尤其是全连接层的参数量，消耗了计算资源，速度变慢
VGGNet
大致框架：在ALexNet的基础上，用多个3*3的卷积核堆叠的方式代替了原先的大卷积核。使用了13个卷积层，3个全连接层。实现了一个不错的图像分类效果，首次将图像分类算法达到“深”层的效果。
优点：vgg16网络的泛化能力强，vgg16精度很高，vgg16适合用于其他网络架构，用小卷积替代大卷积，提高了运算速度，也提高了非线性能力
缺点：vgg16计算量比较大，参数量依然很多，消耗了计算资源，，尤其是第一个全连接层
GoogLeNet
大致框架：最典型的特征架构是inception，利用了横向堆叠的思想，inceptionv1网络有22层网络，inception中有很多小的特征卷积核组成的1*1,3*3,5*5，组成的，减少了计算参数，避免消耗过多的资源加快了速度，小卷积核代替大卷积，还有两个辅助分类器，分别在第3层和第6层有，避免因为网络加深，造成了梯度消失，最后在计算损失的时候，把两个辅助分类器的损失一并回传一起计算
Inceptionv2利用了卷积分解和正交化的思想，使得网络速度更快，也把大的卷积核拆分成很多小的卷积核一起使用其中n*n拆分成1*n和n*1的思想，使得精度更好
Inceptionv4：引入了残差块的思想，网络速度更快，避免了梯度消失的问题。
优点：提高了精度和速度，使得参数量变得很好，利用了打破传统的思想，利用横向堆叠的思想去考虑问题，使得问题更加的简单，其中inception提出的思想为后面残差网络做 铺垫，还有两个辅助分类器的加入，使得网络结构更加的完善
缺点：虽然一部分解决了精度的问题，但是随着网络的不断加深，梯度消失的问题还是存在的，参数量过多的问题依旧在，设置的参数很多
ResNet
大致框架：ResNet主要是为了解决网络的退化问题，而提出的让网络直接去学习恒等映射。网络退化问题就是：理论上随着网络的加深，模型的性能会越来越好，但是实际上，对着网络的加深，网络的准确率会到达一定瓶颈，随着网络的继续加深，网络的性能会出现降低的现象。因此，针对此问题，ResNet提出了残差块的思想，从而解决网络退化问题。
优点：网络简单、通用性好，解决了梯度消失的问题，可以实现更深的网络。
缺点：训练时间长、成本高。
