逻辑回归的 logist 函数推导, 从概率论视角.
Logist从概率角度认识
可以咱学校教材大二版的<<概率论与数理统计>> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.
栗子: 全概率与贝叶斯
举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.
设某厂有甲, 乙,丙 三个车间都生产 A 产品. 已知(先验概率):
各车间产量分别占全厂的 25%, 35%, 40%,
且各车间的次品率分别为 5%, 4%, 2%.
需求1: 现随机抽取一个样本, 则它是次品的概率有多大?
求解如下:
设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙 车间生产", B 表示 "产品为次品"
显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:
P(A1) = 25%, P(B|A1) = 5%
P(A2) = 35%, P(B|A2) = 4%
P(A3) = 40%, P(B|A3) = 2%
要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:
\(P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)\)
\(= \sum \limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345\)
需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?
反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)
\(P(A1|B) = \frac {P(A)P(B|A1)}{P(B)} = \frac {25\% * 5\%}{0.0345} = 0.362\)
\(P(A2|B) = \frac {P(A2)P(B|A2)}{P(B)} = \frac {35\% * 4\%}{0.0345} = 0.406\)
\(P(A3|B) = \frac {P(A3)P(B|A3)}{P(B)} = \frac {40\% * 2\%}{0.0345} = 0.232\)
因此, B 的发生, 来自 \(P(A1|B)\)
这其中呢, 其实在不知不觉中用到了贝叶斯公式:
设A1,A2,A3..构成完备事件组, 则对任意一事件B有:
\(P(A_i|B) = \frac {P(A_i)P(B|A_i)}{\sum \limits _{i=1}^n P(A_i)P(B|A_i)}\)
分母是 全概率, 分子是 "分量"
logist 函数推导
假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)
请问: 当 X 事件已经发生下, 是基于 是基于 s1 的概率有多大?
即求 P(s1|x)
这就是一个经典的条件概率问题.
先求 P(x) 的全概率:
\(P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) \ (1)\)
目标( 根据贝叶斯定理:)
\(P(s1|x) = \frac {P(s1)P(x|s1)}{P(x)} \ (2)\)
$ P(s1|x) = \frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) } \ (3)$
分子, 分母同时 除以 分子得:
\(P(s1|x) = \frac {1} {\frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = \frac {1} {1+ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } \ (4)\)
令 \(y = ln [ \frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]\)
即得出: \(P(s1|x) = \frac {1}{1+e^y}\)
对数运算性质:
\(-y = ln [ \frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}]\)
logistic 函数性质
也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.
\(f(x) = \frac {1}{1+e^{-x}}\)
- 值域是在 [0, 1] 的连续可导的增函数
- x = 0 处, y = 0
- x \(\rightarrow -\infty\), y -> 0
- x \(\rightarrow + \infty\)
刻画概率的累计分布, 如果从概率视角来认识的话.
\(P(y=1|x) = \frac {1}{1+e^{-x}}\)
输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值 的时候, y=1 的 概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗
结合线性模型:
\(P(y=1|x) = \frac {1}{1+e^{-x}} = \frac {1}{1+e^{-\theta^T x}}\)
于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.
下篇就整一波如何构造目标函数来求解参数向量 \(\theta\)
耐心和恒心, 总会获得回报的.
