线性分类中的是非题变为逻辑分类中的概率题。在逻辑回归中，设置概率阈值后，大于等于该值的为O，小于改值的为X。

有序 logistic 回归 OR_梯度下降法

O为1，X为0：

有序 logistic 回归 OR_有序 logistic 回归 OR_02


有序 logistic 回归 OR_最小值_03

逻辑函数/S型函数：光滑，单调。自变量趋于负无穷时，因变量趋于0；自变量趋于正无穷时，因变量趋于1；自变量取0时，因变量值为0.5。其能够较好地模拟概率特性。

有序 logistic 回归 OR_代价函数_04


有序 logistic 回归 OR_有序 logistic 回归 OR_05

逻辑回归使用交叉熵代价函数:

有序 logistic 回归 OR_梯度下降法_06


有序 logistic 回归 OR_最小值_07


有序 logistic 回归 OR_最小值_08


有序 logistic 回归 OR_代价函数_09



有序 logistic 回归 OR_代价函数_10



有序 logistic 回归 OR_最小值_11



有序 logistic 回归 OR_有序 logistic 回归 OR_12

最小化代价函数时，发现无法求出使其值最小的解析解。类比PLA的迭代法，使用梯度下降法求最小值。

有序 logistic 回归 OR_有序 logistic 回归 OR_13



有序 logistic 回归 OR_梯度下降法_14

\(\eta\)：学习速率，与梯度大小有关，正比。
\(v\)：方向，单位长度，方向与梯度相反。


有序 logistic 回归 OR_最小值_15


有序 logistic 回归 OR_代价函数_16


有序 logistic 回归 OR_最小值_17


有序 logistic 回归 OR_代价函数_18


有序 logistic 回归 OR_代价函数_19


有序 logistic 回归 OR_有序 logistic 回归 OR_20