1、BP神经网络的MATLAB训练Gradient是什么意思？Performance是什么意思？，大神能解释一下吗？谢谢了
Gradient是梯度的意思，BP神经网络训练的时候涉及到梯度下降法，表示为梯度下降的程度与训练过程迭代次数（步长）的关系。Performance是神经网络传递误差大小的意思，表示为均方差与训练过程迭代次数（步长）的关系。
谷歌人工智能写作项目：小发猫
2、什么是梯度消失?如何加快梯度下降的速度
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0神经网络梯度是什么。
在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。
根本原因是sigmoid函数的缺陷。
方法：
1、好的初始化方法，逐层预训练，后向传播微调。
2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。
避免梯度消失和梯度爆炸的方案：
使用新的激活函数
Sigmoid 函数 和 双曲正切函数都会导致梯度消失的问题。ReLU 函数当 x < 0，的时候一样会导致无法学习。
利用一些改进的 ReLU 可以在一定程度上避免梯度消失的问题。例如，ELU 和 Leaky ReLU，这些都是 ReLU 的变体。
3、bp神经网络中的gradient是什么意思
若果对你有帮助，请点赞。
神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。 然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断的迭代下去，目标函数（神经网络中的预测误差）也不断下降，最终就能找到一个解，使得目标函数（预测误差）比较小。
现在很多算法在寻解过程，都会借助梯度来确定目标函数的下降方向，梯度可以理解为单变量时的导数，梯度下降的方法就是目标函数的下降方向。
你可以到《神经网络之家》nnetinfo中查看《梯度下降法》一文来理解，另外还有《Levenberg-Marquardt法理论基础》方法，也讲解了在数据不太大时，一种更优于梯度下降法的寻解方法
若果对你有帮助，请点赞。
祝学习愉快
4、梯度下降算法是指什么 神经网络
梯度下降算法是神经网络在每代更新网络权值的一种方法。
神经网络还有很多其他更新权值的方法，不只这一种
5、神经网络中梯度和参数变化量有区别吗
试试将训练函数变为trainlm，这个比较快速精度也高。梯度下降法有时会出问题的。
traingdm是带动量的梯度下降法，trainlm是指L-M优化算法，trainscg是指量化共轭梯度法，除此之外还有traingdx、traingda等，都是权值的训练算法。看MATLAB结合神经网络的基础书上都有介绍。
tansig和logsig 统称Sigmoid函数，logsig是单极性S函数，tansig是双极性S函数，也叫双曲正切函数，purelin是线性函数，是节点的传输函数。
6、（神经网络）梯度爆炸会引发什么？
在深度多层感知机网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。 梯度爆炸导致学习过程不稳定。—《深度学习》，在循环神经网络中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。
有很多方法可以解决梯度爆炸问题，一些最佳实验方法如下：
- 重新设计网络模型： 在深度神经网络中，梯度爆炸可以通过重新设计层数更少的网络来解决。 使用更小的批尺寸对网络训练也有好处。 在循环神经网络中，训练过程中在更少的先前时间步上进行更新（沿时间的截断反向传播，truncated Backpropagation through time）可以缓解梯度爆炸问题。
- 使用 ReLU 激活函数 ：在深度多层感知机神经网络中，梯度爆炸的发生可能是因为激活函数，如之前很流行的 Sigmoid 和 Tanh 函数。 使用 ReLU 激活函数可以减少梯度爆炸。采用 ReLU 激活函数是最适合隐藏层的新实践。
- 使用长短期记忆网络： 在循环神经网络中，梯度爆炸的发生可能是因为某种网络的训练本身就存在不稳定性，如随时间的反向传播本质上将循环网络转换成深度多层感知机神经网络。 使用长短期记忆（LSTM）单元和相关的门类型神经元结构可以减少梯度爆炸问题。 采用 LSTM 单元是适合循环神经网络的序列预测的最新最好实践。
- 使用梯度截断（Gradient Clipping）： 在非常深且批尺寸较大的多层感知机网络和输入序列较长的 LSTM 中，仍然有可能出现梯度爆炸。如果梯度爆炸仍然出现，你可以在训练过程中检查和限制梯度的大小。这就是梯度截断。 处理梯度爆炸有一个简单有效的解决方案：如果梯度超过阈值，就截断它们。 ——《Neural Network Methods in Natural Language Processing》，具体来说，检查误差梯度的值是否超过阈值，如果超过，则截断梯度，将梯度设置为阈值。 梯度截断可以一定程度上缓解梯度爆炸问题（梯度截断，即在执行梯度下降步骤之前将梯度设置为阈值）。 ——《深度学习》 在 Keras 深度学习库中，你可以在训练之前设置优化器上的 clipnorm 或 clipvalue 参数，来使用梯度截断。 默认值为 clipnorm=1.0 、clipvalue=0.5。
- 使用权重正则化（Weight Regularization） 如果梯度爆炸仍然存在，可以尝试另一种方法，即检查网络权重的大小，并惩罚产生较大权重值的损失函数。该过程被称为权重正则化，通常使用的是 L1 惩罚项（权重绝对值）或 L2 惩罚项（权重平方）。 对循环权重使用 L1 或 L2 惩罚项有助于缓解梯度爆炸。 ——On the difficulty of training recurrent neural networks，在 Keras 深度学习库中，你可以通过在层上设置 kernel_regularizer 参数和使用 L1 或 L2 正则化项进行权重正则化。
