逻辑回归p值计算公式 逻辑回归的结果怎么看

文章目录

• 一、什么是二分类与逻辑回归(Logistic Regression)？
• 二、逻辑回归基本思路
• 三、定义损失函数(Loss Function)

一、什么是二分类与逻辑回归(Logistic Regression)？

二分类表示分类任务中有两个类别。比如有一个分类任务是预测一张图片中是否有猫，则结果只有有(1)或没有(0)两种类别。
逻辑回归就是为解决二分类问题，建立模型，输入数据，最终输出一个0到1的数，用来预测$y$的真实值。比如可以规定当模型输出值$\hat{y}$大于等于0.5时，我们便预测输出类别为1(对应上述例子，即图片中有猫)。

二、逻辑回归基本思路

有时我们使用线性回归预测连续的值。设 $\hat{y}$ 是预测值，则 $\hat{y}$

$\hat{y}$ = w^Tx + b

其中x为样本某一特征取值， w^T及b为输入参数。

上式输出的值是可以小于0或者大于1的。但我们希望逻辑回归输出一个0到1的数。可以借助$Sigmoid$函数来将输出映射到0到1：

$\hat{y}$ = $\sigma$(w^Tx + b)
其中，$\sigma(z) = {1\over 1+e^{-z}}$

$\sigma(z)$表示$Sigmoid$函数，其图像如下图所示：

二分类问题的最终结果 $y$ 只可能取值0或1，我们通过某一模型计算得到 $\hat{y}$， 用于对 $y$ 的值进行预测。 $\hat{y}$ 通过$Sigmoid$函数可以映射到0到1中的某个具体的值，这个值可以理解为模型预测真实结果 $y$ 为1的概率。比如$\hat{y}$ = 0.8 就代表着在样本 $x$ 的条件下，通过模型预测 $y$ 真实值为0.8，但 $y$ 只可能取值0或1，所以该模型认为 $y$

这样 $\hat{y}$ 就可以理解为在样本 $x$ 条件下, $y=1$

$\hat{y} = P(y = 1 | x)$

三、定义损失函数(Loss Function)

损失函数用来描述真实值$y$与预测值$\hat{y}$之间的差距，损失函数越小，代表预测值越接近真实值。
逻辑回归中损失函数定义如下：

$\mathcal{L}$($\hat{y}$, $y$) =$-$$($$y log\hat{y}$ $+$ $(1 - y) log(1 - \hat{y})$$)$

下文将给出解释过程。
上文中已说明 $\hat{y} = P(y = 1 | x)$

IF y = 1: $P(y|x) = \hat{y}$
IF y = 0: $P(y|x) =1 - \hat{y}$

我们希望预测值 $\hat{y}$ 接近真实值 $y$。
如果y = 1，让 $\hat{y}$ 接近$y$, 即接近1，则根据上述第一个式子知$P(y|x)$接近1。
如果y = 0，让 $\hat{y}$ 接近$y$, 即接近0，则根据上述第二个式子知$P(y|x)$接近1 - 0 = 1。
因此我们希望P(y|x)值越大越好，越大代表着预测值越接近真实值。
将上述两个式子合并：

$P(y|x) = \hat{y} ^y (1 - \hat{y})^{1 - y}$

通过取对数，简化式子，得：

$logP(y|x) = ylog\hat{y} + (1 - y)log(1 - \hat{y}) = -\mathcal{L}(\hat{y}, y)$

因为对数是单调递增函数，且$P(y|x)$值越大说明预测精度越高，也就是说$logP(y|x)$越大越好。但损失函数描述的是真实值与预测值的差距，损失函数越小代表着预测精度越高，因此令$logP(y|x) = -\mathcal{L}(\hat{y}, y)$，损失函数最终便可以表示为：

$\mathcal{L}$($\hat{y}$, $y$) =$-$$($$y log\hat{y}$ $+$ $(1 - y) log(1 - \hat{y})$$)$