随机梯度下降法 SGDstochastic gradient descent假设红色部分为一个下凹空间,现在要前往空间的最低点。随机梯度下降法 SGD 低效的根本问题在于,每一步虽然都是立足于当前点的梯度方向(蓝线),但梯度的方向并不一定指向最小值的方向(黑线)。基于SGD的最优化的更新路径:呈“之”字形朝最小值(0, 0)移动,效率低class SGD: """随机梯度下降法(Stoc
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号