softmax回归笔记

Softmax回归

softmax回归是多分类算法，计算样本属于每一个类别的概率，最终认为样本属于概率最大的那个类别
softmax回归是logistic回归的一般化，适用于K分类的问题，针对于每个类别都有一个参数向量θ，第k类的参数为向量θk，组成的二维矩阵为θk*n；

损失函数

$J(\theta)=-\frac{1}{m} \sum_{i=1}^{m} \sum_{j=1}^{k} I\left(y^{(i)}=j\right) \ln \left(\frac{e^{\theta_{j}^{T} x^{(i)}}}{\sum_{l=1}^{k} e^{\theta_{i}^{T} x^{(i)}}}\right) \quad \\ I\left(y^{(i)}=j\right)=\left\{\begin{array}{l}{1, \quad y^{(i)}=j} \\ {0, \quad y^{(i)} \neq j}\end{array}\right.$

梯度

$\frac{\partial}{\partial \theta_{j}} J(\theta)=-I\left(y^{(i)}=j\right)\left(1-\frac{e^{\theta_{x}^{T} x^{(i)}}}{\sum_{l=1}^{k} e^{\theta_{l}^{T} x^{(i)}}}\right) x^{(i)}$

梯度下降算法的参数迭代公式

$\theta_{j}=\theta_{j}+\alpha \sum_{i=1}^{m} I\left(y^{(i)}=j\right)\left(1-p\left(y^{(i)}=j | x^{(i)} ; \theta\right)\right) x^{(i)}\\ \theta_{j}=\theta_{j}+\alpha I\left(y^{(i)}=j\right)\left(1-p\left(y^{(i)}=j | x^{(i)} ; \theta\right)\right) x^{(i)}$