1.1 MLP网络
MLP网络是一种应用最为广泛的一种网络，其中DNN就是属于MLP网络，它是一个前向结构的人工神经网络，输入一组向量向前传播输出向量，网络结构如下：
各个层级关系：
其中σ表示激活函数，集中常见的激活函数有：sigmod函数，tanh函数，ReLU函数。
sigmod函数：
tanh函数：
ReLU函数：
1.2 RNN网络
RNN是一种节点定向连接成环的人工神经网络，与DNN网络相比，RNN可以利用上一个时序的输出及当前输入计算输出，网络结构如下：
展开如下：
各层关系：
1.3CNN网络卷积神经网络，是一种前馈神经网络，通过卷积操作可以对一个连续区域进行识别，在图像处理取得不错效果。卷积神经网络的结构有原始图像输入层、卷积层、池化层、全连接层、输出层。网络结构如下：
各个层之间的连接关系如下：
输入层X与卷积层C的关系:
卷积层C与采样层S的关系:
采样层S与输出层Y的关系:
其中K={km,n}表示一个卷积核。
1.4 AE网络
AE自编码器，属于无监督网络。自编码器的目的是输入X与输出X’尽可能接近，网络结构为两层的MLP，这种接近程度通过重构误差表示，误差的函数有均方差和交叉熵，为了保证网络的稀疏性误差函数加L1正则项，为了保证网络的鲁棒性输入增加随机噪声数据。网络结构如下：
1.5 RBM网络Restricted Boltzmann Machine（受限波尔兹曼机 ）RBM是无监督的网络。具有两层结构、对称连接且无自反馈的随机神经网络模型，层间全连接，层内无连接。RBM是一种有效的特征提取方法，用于初始化前馈神经网络可明显提高泛化能力，堆叠多个RBM组成的深度信念网络（DBN）能提取更抽象的特征。网络结构如下：
RBM网络参数的训练原理较为复杂，简单来讲就是求网络的能量函数最小时对应的参数。
1.6深度学习与传统模型融合
深度学习与传统模型融合，例如：利用wide&deep就是MLP结合LR的模型，根据模型的训练方式融合模型可以分为松耦合模型和紧耦合模型。
松耦合模型：模型的不同部分是独自训练，例如FNN模型就是预先训练好embedding层参数，然后在训练MLP参数。
紧耦合模型：模型的不同部分是一起训练的，这类模型也可以称为end-to-end模型，例如wide&deep就是LR模型的参数和MLP的参数是一起训练的。
两种方式各有利弊，松耦合模型的优势是可以灵活组装，紧耦合模型的优势是通过联合在一起训练得到整体效果最优的参数。
1.7深度学习常见的损失函数
常用的损失损失函数有两种：交叉熵损失函数、均方差损失函数
（1）交叉熵损失函数：
（2）均方差损失函数：
1.8梯度下降法在机器学习的许多算法的模型求解过程中，都是通过构造损失函数，然后求解损失函数最小时对应的参数作为模型的解。梯度函数的求解过程如下：
第1步：把模型所有参数统一记到一个集合，不妨记为
，随机给定一组在0-1之间，设为
，初始化迭代步数 k=0。
第2步：迭代计算
其中
用于控制收敛速度，取0.01。
第3步，判断是否收敛，如果满足下列两个条件之一则返回
，两个条件分别为：
条件1：
，其中iteNums是最大迭代次数。条件2：
，其中
是参数的数量，
是一个很小的值，可以取
