线性分类模型
- 1 回归和分类的区别
- 2 四种线性分类模型
- 2.1 logistic模型（二分类）
- 2.1.1 logistic模型原理
- 2.1.2 怎么求参数
- 2.2 softmax模型（多分类）
- 2.2.1 softmax模型定义
- 2.2.2 怎么求softmax参数
- 2.3 感知器
- 2.4 支持向量机
记录第三章的碎碎念。
1 回归和分类的区别
首先来阐述一下分类和回归的区别！
（1）分类：是给定一组数据，通过训练集得到它所对应的类别，是对离散变量的预测。
（2）回归：给定一组连续的数据，得到输出值，是对连续变量的预测。
通过一个例子来理解，特征是房屋面积，朝向，层数，输出值为房屋价格，有一组新的面积朝向层数是已知数据中没有的，就要通过回归函数去预测。而如果特征是面积，价格层数，输出值为朝向（东，南，西，北），则变成了一个分类任务。
2 四种线性分类模型
这些模型的主要区别时使用了不同的损失函数。
2.1 logistic模型（二分类）
2.1.1 logistic模型原理
逻辑回归（也叫对数几率回归）其实就是用来解决一个二元分类问题。虽然有回归二字，但人家是一个分类模型而不是一个回归模型！！！
人家名字里面有“回归”二字，所以也不是白叫的，当然与回归模型有联系。
首先给出线性回归模型：
同时“广义线性回归”模型为：
注意，其中g(~)是单调可微函数。
下面我们便从线性回归的回归模型引出logistic回归的分类模型！！！我们知道上诉线性回归模型只能够进行回归学习，但是若要是做分类任务如何做！答案便是在“广义线性回归”模型中：只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来便可以了！
此时便引入Sigmoid函数：
它长这样
这样我们在原来的线性回归模型外套上sigmoid函数便形成了logistic回归模型的预测函数，可以用于二分类问题：
综上：逻辑回归=线性回归+sigmoid函数
2.1.2 怎么求参数
在上一个话题中我们已经得到了logistic回归的预测函数：
加m是为了方便计算。最后使用梯度下降法或牛顿法求得参数。
2.2 softmax模型（多分类）
softmax回归是为了解决多分类问题，是逻辑回归的推广。
2.2.1 softmax模型定义
2.2.2 怎么求softmax参数
同逻辑回归，求出损失（代价）函数，再使用梯度下降法求得参数。
2.3 感知器
感知器是一个二分类模型。感知器定义如下：
感知器的算法学习
2.4 支持向量机
未完待续。。。。
