M-P神经元相当于神经网络发展的第一个细胞。

感知机是第一个具有基本功能的神经网络工具，只具有一层功能神经元。

多层前馈神经网是现代神经网络原始模型，具有多层功能神经元，一般采用BP算法进行训练。

小批梯度下降训练算法是梯度下降算法中的“中庸之道”

分布式表征是神经网络发展历程中的一个重要思想

CNN中的权值共享就是一个特征映射（即一组神经元）共享一个卷积核和一个偏置，通俗来讲，卷积核就是一组网络权值，而且几个卷积核就可以得到几个特征映射平面。

几个卷积核就对应几组参数，并可以得到几个特征映射，而卷积核就是神经元之间的连接权重，也就是卷积神经网络中需要训练的参数。

卷积最后得到的矩阵维度=图像矩阵维数-卷积核矩阵维数+1

池化操作可以把原始矩阵维度减少到原来的1/n。

卷积神经网络的核心思想是稀疏连接和权重共享，在减少网络参数的个数的同时，获得图像特征位移，以及尺度的不变性。

GAN主要由生成器G（generator）和判别器D（discriminator）构成。

生成器G的任务是从训练数据中生成具有相同分布的样本数据（samples），判别器D的任务是判断输入是真实数据还是生成数据。

GAN可以预测的状态规划行动、生成缺失的数据和标签、提升图像分辨率、多模态学习，但原始GAN模型的训练缓慢，不可控问题明显。

ACGAN可以完成带标签的监督学习。

生成器和判别器的训练目标函数是一个极大极小博弈问题。