二次代价函数：【深度学习】：代价函数的选择_代价函数

【深度学习】：代价函数的选择_deeplearning_02
【深度学习】：代价函数的选择_deeplearning_03
如上图所示的A点假设我们的目标是0，那么B点离目标比较远，但是由于梯度比较小所以更新速度很慢，这种情况不和逻辑很不好，这就是二次代价函数的缺点。

交叉熵代价函数：

【深度学习】：代价函数的选择_代价函数_04
【深度学习】：代价函数的选择_deeplearning_05

对数似然函数：

【深度学习】：代价函数的选择_似然函数_06