1：常见函数的梯度
【注】
导数：一维函数的导数（梯度）没有方向是一个标量
梯度：有方向的向量
2：激活函数的梯度
(2.1)激活函数：Sigmoid/Logistic
[注]sigmoid函数输出范围为【0，1】，多用于概率，图像的rgb通道等。
[注]sigmoid函数在torch中的使用有两种方式：
torch.sigmoid()
torch.nn.functional as F F.sigmoid()
（2.2）激活函数：tanh
[注]:Tanh函数输出范围为【-1，1】多用于RNN循环神经网络。
[注]:Tanh函数在torch中的使用方式：
torch.tanh()
(2.3)激活函数：ReLU（首先推荐使用的激活函数）
ReLU激活函数的梯度：
【注】ReLU函数有效降低了梯度爆炸和梯度离散的情况。
【注】ReLU函数在pytorch中的使用：
torch.relu()
F.relu()
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
