一、深度学习
基于神经网络的机器学习方法，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合
低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。可将深度学习理解为进行“特
征学习”（feature learning）或“表示学习”（representation learning）。
二、深度学习框架
TensorFlow、PyTorch、Keras等。工业化较强的google出的Tensorflow。学术界使用PyTorch较多。
三、常用深度学习模型
1.人工神经网络(Artificial Neural Network, ANN)：这是最基本的神经网络结构，由输入层、隐藏层和输出层组成。
2.卷积神经网络(Convolutional Neural Network, CNN)：主要用于图像识别和处理，通过卷积层提取数据的局部特征。
3.循环神经网络(Recurrent Neural Network, RNN)：用于处理序列数据，通过隐藏层的环形结构存储内部状态。
4.长短期记忆网络(Long Short-Term Memory, LSTM)：RNN的一种特殊形式，解决长序列中的梯度消失问题。
5.Transformer模型：基于自注意力机制的神经网络结构，用于处理序列数据。
6.BERT模型(Bidirectional Encoder Representations from Transformers)：基于Transformer的预训练模型，用于自然语言处理任务。
四、tensorflow框架关键参数
1.网络层
tf.keras.layers.Dense：全连接层
tf.keras.layers.Conv2D：二维卷积层
tf.keras.layers.MaxPool2D：二维最大池化层
tf.keras.layers.Dropout：Dropout层，用于防止过拟合
tf.keras.layers.Flatten：用于将输入“扁平化”，即把多维 的输入一维化
tf.keras.layers.Activation：激活函数层
tf.keras.layers.BatchNormalization：批归一化层
tf.keras.layers.Embedding：嵌入层，常用于文本处理2.优化算法
深度学习中的神经网络模型根据预测值和真实值构建一个损失函数，通过优化算法最优化这个损失函数来达到学习神经网络模型参数的目的，进而提高神经网络模型性能。
有梯度下降法、自适应矩估计法Adam算法、均方根传递法RMSProp算法等。3.损失函数
用来度量模型预测值和真实值间的偏差，偏差越小，模型越好，所以我们需要最小化损失函数。
有绝对值损失(L1Loss)、平方损失(MSELoss/L2Loss)、平滑绝对值损失(SmoothL1Loss)等。4.激活函数
节点的激活函数定义了该节点在给定的输入或输入集合下的输出。
ReLU 激活函数：隐藏层优先使用
Sigmoid 激活函数：输出层二分类优先使用。
Softmax激活函数：输出层多分类优先使用
