LDA（Fisher）线性判别分析

LDA（Fisher）线性判别分析

对于二分类问题若存在一个$y_i=Wx_i$将样本$\pmb X$投影到一维空间上

为了使两个样本能够较好的分开，应该是的每一个同类的样本的方差（离散程度）尽可能的小，而不同类的样本的尽可能的远

设样本可以分为$w_1$与$w_2$两类

则我们可以计算

各类样本的类内均值向量
$m_i=\frac{1}{N_i}\sum_{x \in w_i}x\\ \bar{m_i}=\frac{1}{N_i}\sum_{y \in w_i}y$

各类样本的类内离散度矩阵
$S_i=\sum_{x \in w_i}(x-m_i){(x-m_i)}^T\\ \bar{S_i}=\sum_{y \in w_i}{(y-\bar{m_i})}^2$
总体样本的类内离散度矩阵
$S_w=S_1+S_2\\ \bar{S_w}=\bar{S_1}+\bar{S_2}$
样本的类间离散度矩阵
$S_b=(m_1-m_2){(m_1-m_2)}^T\\ \bar{S_b}=(\bar{m_1}-\bar{m_2}){(\bar{m_1}-\bar{m_2})}^T$
Fisher准则函数
$J_F(W)=\frac{{(\bar{m_1}-\bar{m_2})}^2}{\bar{S_1}+\bar{S_2}}$
由此我们优化的目标时使得$J_F(W)$最大
$\begin{aligned}{ (\bar{m_1}-\bar{m_2})}^2&=W(m_1-m_2)(m_1-m_2)^TW^T\\ &=WS_bW^T\\ \end{aligned}$

$\begin{aligned} \bar{S_i}&=\sum_{y \in w_i}{(y-\bar{m_i})}^2\\ &=\sum_{x \in w_i}(Wx-Wm_i)^2\\ &=\sum_{x \in w_i}W(x-m_i)(x-m_i)W^T\\ &=WS_iW^T \end{aligned}$

$\begin{aligned} J_F(W)&=\frac{{(\bar{m_1}-\bar{m_2})}^2}{\bar{S_1}+\bar{S_2}}\\ &=\frac{WS_bW^T}{W(S_1+S_2)W^T}\\ &=\frac{WS_bW^T}{WS_wW^T} \end{aligned}$

采用拉格朗日乘数法
$L(W,\lambda)=WS_bW^T-\lambda(WS_wW^T-c)$
对$W$求偏导数
$\begin{aligned} \frac{\partial L(W,\lambda)}{\partial W}=S_bW-\lambda S_wW \end{aligned}$
偏导数为0
$\begin{aligned} \frac{\partial L(W,\lambda)}{\partial W}=S_bW-\lambda S_wW=0 \end{aligned}$
则存在
$S_bW=\lambda S_wW$
因为$S_w$为非奇异矩阵可得到
$S_w^{-1}S_bW=\lambda W$
可以视为求矩阵$S_w^{-1}S_b$的特征向量
$S_w^{-1}S_bW=S_w^{-1}(m_1-m_2)(m_1-m_2)^TW$
$(m_1-m_2)^TW$为一个标量设为R，则
$\lambda W=S_w^{-1}(m_1-m_2)R$
于是
$W=\frac{R}{\lambda}S_w^{-1}(m_1-m_2)$
由于寻找对是W的方向上的向量，所以
$W^*=S_w^{-1}(m_1-m_2)$
综上所述，存在$W^*$使得LDA可以较好的解决二分类问题。