逻辑回归logistic regression
通常,我们直观上倾向于把1定义为,我们想要寻找的那一类。
继续用线性回归解决分类问题时,会受到个别案例的显著影响,而且线性回归的取值为(负无穷,正无穷),不符合(0,1)所以线性回归不适应做分类。此外,对于分类模型,我们一般有两种方法:
一个最直观的办法就是设定一个阈值,比如0,如果我们预测的数值 y > 0 ,那么属于标签A,反之属于标签B,采用这种方法的模型又叫做感知(Perceptron)。
另一种方法,我们不去直接预测标签,而是去预测标签为A概率,我们知道概率是一个[0,1]区间的连续数值,那我们的输出的数值就是标签为A的概率。一般的如果标签为A的概率大于0.5,我们就认为它是A类,否则就是B类。这就是我们的逻辑回归模型 (Logistics Regression)。
sigmoid function
提出了新的假设函数。被称为sigmoid function或者logistic function
可以将其理解为,概率输出,对于二分类模型
decision boundary
cost function
按照原始公式书写时,是一个非凸函数,具有局部最小值,无法寻找全局最小值。所以,逻辑回归的损失函数如下:
可以简化成
求偏导之后为
具体推导公式如下:
其中也涉及到最大似然估计MLE(Maximum Likelihood Estimation)的思想,最大似然估计是一种“模型已定,参数未知”的方法。
其它的优化方法和优缺点
包括共轭梯度法等
多分类
参考:
深入浅出最大似然估计(Maximum Likelihood Estimation)https://www.jianshu.com/p/f1d3906e4a3e 逻辑回归 logistics regression 公式推导 https://zhuanlan.zhihu.com/p/44591359