过拟合：在训练样本上误差较小，在验证集上误差较大
解决办法：
1. 添加正则项（or 提高正则项系数）
2. 增加数据规模
3. 特征降维
4. dropout
5. pooling
6. batch normalization
欠拟合：在训练样本和验证集上误差都教大
解决办法：
1.减小正则项系数
2.特征维度增加
3.添加高次多项式特征
4.模型复杂化
AlexNet优势：
1）采用非线性激活函数Rel U，保留非线性表达能力，可训练更深层网络
2）采用数据增强和Dropout防止过拟合
3）采用并行化的GPU进行训练
VGG:采用连续的3x3的卷积核代替AlexNet中的较大卷积核，不断加深网络来提高性能
2个3*3卷积核叠加，可代替一个5*5的卷积核；3个3*3的卷积核叠加，可代替一个7*7的卷积核。
ResNet：解决了深度CNN模型难训练的问题，针对深度学习退化问题：网络层数深时，理论上模型表现好，但实际上在训练集上表现很差。
核心思想：通过向上堆积深层来建立深层网络
对于一个堆积层结构，当输入为x时，学习到的特征记为H(x),我们希望学习到的残差F(x)=H(x)-x,这样原始学习特征是F(x)+x。
