分类算法

线性回归算法不适合分类问题

 

分类算法(Logistic回归算法)_代价函数

 

 

一个偏差比较大的点会对最终结果产生很大影响

Logistic回归算法

 

分类算法(Logistic回归算法)_拟合_02

 

 

这就是Sigmoid函数或者叫,Logistic函数

HQ(x)=1/(1+e-QTx),函数图像如下

 

分类算法(Logistic回归算法)_代价函数_03

 

 

 

 

 

给定参数值以及Q值以后计算出的函数值假如为0.1,就称病人癌症为恶性的概率为70%

 

分类算法(Logistic回归算法)_c函数_04

 

 

分类算法(Logistic回归算法)_拟合_05

 

 

分类算法(Logistic回归算法)_代价函数_06

 

 

 

是假设函数的一个边界

那么如何得到参数Q的正确取值呢,构造代价函数如下

 

分类算法(Logistic回归算法)_c函数_07

 

 

定义一个新函数

 

分类算法(Logistic回归算法)_拟合_08

 

 

代价函数和Q值图像如下:

 

 

分类算法(Logistic回归算法)_拟合_09

分类算法(Logistic回归算法)_代价函数_10

 

 

 

??????为什么代价函数等于这个

如果y=1么cost函数的图像如下

 

分类算法(Logistic回归算法)_拟合_11

 

 

如果y=0那么cost函数的图像如下

 

拟合方式

 

分类算法(Logistic回归算法)_拟合_12

 

 

 

 

Logistic拟合方式

 

分类算法(Logistic回归算法)_拟合_13

 

 

其中y恒为0或者1这是定义的。将两个式子整合可以得到一个新的cost函数

 

分类算法(Logistic回归算法)_拟合_14

 

 

‘带入代价函数得到

 

分类算法(Logistic回归算法)_c函数_15

 

 

最小化代价函数得到的q就是满足


分类算法(Logistic回归算法)_代价函数_16

 

 

分类算法(Logistic回归算法)_拟合_17

 

 

对重复求偏导就是梯度下降法

其他高级算法优点:

不用手动选择学习率,具有智能内循环,叫做线搜索算法,能够自动选择一个好点的学习率

收敛速度更快

缺点是更加复杂

直接调用库即可,不用理解

  

 

 

多类别分类问题

核心思想:

拟合多个逻辑分类器

 

分类算法(Logistic回归算法)_代价函数_18

 

 

输入参数后返回可信度最高效果最好的一个分类器来使用