1.关于训练和推理。
线性代数很重要，理解向量点积，向量点积和向量相似度正相关。
最邻近算法的缺点，训练很快，推理很慢，这不符合我们的要求，因为我们希望训练慢一点，这样可以训练出更准确的模型，而且训练是在数据中心完成的，能够承担更大的计算量。我们希望推理快一点，这样可以部署在算力比较小的终端设备上面。
2.关于距离
L1距离是正方形，正方形上每个点到原点的L1距离是相同的，L2距离是欧几里得距离，是圆形，圆形上的点到原点的L2距离也是相同的
3.超参数的概念
比如，K邻近分类中的K就是超参数。
更好的办法，轮流作validation
4.线性分类器和CNN的关系
5.卷积核是对包含整个深度的三维立体图像结构进行卷积的，所以，图像深度信息在卷积后就没有了，剩下了图像大小和卷集核的个数信息。通常，卷积核是三维的，不是二维的。一次卷积核产生一个数字。
池化，没有重叠，最大池化一般好于平均池化，选择最神经的神经元。
池化参数：
GPUs VS CPUs
通常说的网络深度，是指可训练层的个数，也就是计算层的数量，包括卷积层和全连接层。
大部分参数在FC层，大部分内存在前面的COV层。
零填充
要不要对权重进行batch normalization，看斯坦福的小姐姐是怎么说的
