交叉熵(CrossEntropy)是常见的损失函数,本文详细推导一下它的梯度,面试大厂或者工程实践中都可能会用到。

前向传播

假设分类任务类别数是

“交叉熵”反向传播推导_机器学习

“交叉熵”反向传播推导_算法_02

“交叉熵”反向传播推导_机器学习_03

“交叉熵”反向传播推导_算法_04

“交叉熵”反向传播推导_深度学习_05

“交叉熵”反向传播推导_反向传播_06