用于小样本回归的神经网络 小样本卷积神经网络

先验知识：
快速傅立叶变换
第二章：

卷积(convolution)：卷积操作可获取图像区域不同类型特征。
汇合(pooling)：汇合等操作可对这些特质进行融合和抽象。
卷积核(convolution keras),激活函数(activation function)，感受野(receptive filed)
多层卷积汇合等操作的堆叠，各层得到的深层特征逐渐从泛化特征（边缘纹理）过度到高层语义表示。

第三章：
感受野：神经元只接受其所支配的刺激区域内的信号
小卷积核的优势：
[1]小卷积核需多层叠加，加深了网络深度进而加强了网络容量核复杂度
[2]增强网络容量的同时减少了参数个数

分布式表示：每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表达中去。
解释：一张图片中的某个目标物体可以由很多卷积核(神经元)激活后的特征图表示；而每个神经元又可以给多张图片不同的目标做卷积。

第四章：
模型压缩：均旨在将一个庞大而复杂的预训练模型 (pre-trained model)转化为一个精简的小模型。
前端压缩：是指不改变原网络结构的压缩 技术，主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等;
后端压缩：则包括低秩近似、未加限制的剪枝、参数量化以及二值网络等，其目标在于尽可能地减少模型大小，因而会对原始网络结构造成极大程度的改造。

4.1低秩近似
方法：结构化矩阵来进行低秩分解，矩阵分解来降低权重矩阵的参数

4.2剪枝与稀疏约束
剪枝算法的操作流程：

• 衡量神经元（权重连接，滤波器）的重要程度（*）
• 移除掉一部分不重要的神经元
• 对网络进行微调

4.3参数量化