把训练完整地学习一遍称作一次迭代。

人工指定的参数在机器学习中称作超参数。

损失函数用来衡量模型在训练集上的错误程度。

给定样本，其特征向量x(i)只是常数，对损失函数求导，得到一个梯度向量$w，它的反方向一定是当前位置损失函数减小最快的方向。如果参数点w反方向移动会使损失函数减小。即W<-w-a$w,a的取值在[0,1)之间的一个常熟，称为学习率。

如果算法每次迭代随机选取部分样本，计算损失函数的梯度，让参数反向移动，则称为随机梯度下降。