广义混合线性模型的系数是什么

5.广义线性模型

• 指数族

$\large p(y;η)=b(y)e^{(η^TT(y)−a(η))}$

$\eta$ 叫做此分布的自然参数，一般$T(y)=y$

• 伯努利分布属于指数族
  $\large p(y;ϕ)=ϕ^y(1−ϕ)^{1−y}=e^{[ylogϕ+(1−y)log(1−ϕ)]}= e^{\{[log(\frac{ϕ}{1−ϕ})]y+log(1−ϕ)\}}$
  $\begin{aligned} T(y)&=y\\ a(η)&=−log(1−ϕ)\\ &=log(1+eη)\\ b(y)&=1 \end{aligned}$
• 正态分布属于指数族
• 多项式分布属于指数族
• 伽马和指数分布属于指数族
• 贝塔和狄利克雷分布属于指数族

构建模型

• 前提：

1. $y | x; \theta ∼ Exponential Family(\eta)$，即给定 $x$ 和 $\theta, y$ 的分布属于指数分布族，是一个参数为 $\eta$
2. $h$ 输出的预测值 $h(x)$ 要满足 $h(x) = E[y|x]$
3. 自然参数 $\eta$ 和输入值 $x$ 是线性相关的，$\eta = \theta^T x$，或者如果 $\eta$ 是有值的向量，则有$\eta_i = \theta_i^T x$。

• SoftMax回归
  假设有K个分类，则分类写作向量形式 $T (y) \in R^{k−1}$:
  $T(1)= \begin{bmatrix} 1\\ 0\\ 0\\ \vdots \\ 0 \end{bmatrix}, T(2)= \begin{bmatrix} 0\\ 1\\ 0\\ \vdots \\ 0 \end{bmatrix}, T(3)= \begin{bmatrix} 0\\ 0\\ 1\\ \vdots \\ 0\\ \end{bmatrix}, T(k-1)= \begin{bmatrix} 0\\ 0\\ 0\\ \vdots \\ 1\ \end{bmatrix}, T(k)= \begin{bmatrix} 0\\ 0\\ 0\\ \vdots \\ 0\ \end{bmatrix}$
  向量 $T(y)$ 中的第 $i$ 个元素写成$(T(y))_i$
  概率写作:$ p (y = i; \phi)=\phi_i ，p (y = k; \phi) = 1 −\sum ^{k−1}_{i=1}\phi_i$:
  $\begin{aligned} p(y;\phi) &=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}\dots \phi_k^{1\{y=k\}} \\ &=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}\dots \phi_k^{1-\sum_{i=1}^{k-1}1\{y=i\}} \\ &=\phi_1^{(T(y))_1}\phi_2^{(T(y))_2}\dots \phi_k^{1-\sum_{i=1}^{k-1}(T(y))_i } \\ &=exp((T(y))_1 log(\phi_1)+(T(y))_2 log(\phi_2)+\dots+(1-\sum_{i=1}^{k-1}(T(y))_i)log(\phi_k)) \\ &= exp((T(y))_1 log(\frac{\phi_1}{\phi_k})+(T(y))_2 log(\frac{\phi_2}{\phi_k})+\dots+(T(y))_{k-1}log(\frac{\phi_{k-1}}{\phi_k})+log(\phi_k)) \\ &=b(y)exp(\eta^T T(y)-a(\eta)) \end{aligned}$
  其中:
  $\begin{aligned} \eta &= \begin{bmatrix} \log (\phi _1/\phi _k)\\ \log (\phi _2/\phi _k)\\ \vdots \\ \log (\phi _{k-1}/\phi _k)\ \end{bmatrix}, \\ a(\eta) &= -\log (\phi _k)\\ b(y) &= 1\ \end{aligned}$
  所以：
  $\eta_i =\log \frac {\phi_i}{\phi_k}$
  于是我们可以以此推出：
  $\begin{aligned} e^{\eta_i} &= \frac {\phi_i}{\phi_k}\\ \phi_k e^{\eta_i} &= \phi_i \\ \phi_k \sum^k_{i=1} e^{\eta_i}&= \sum^k_{i=1}\phi_i= 1\\ \phi_k &= \frac 1 {\sum^k_{i=1} e^{\eta_i}}\\ \phi_i &= \frac { e^{\eta_i} }{ \sum^k_{j=1} e^{\eta_j}} \end{aligned}$
  下面这个函数从$\eta$ 映射到了$\phi$，称为 Softmax 函数：
  $\phi_i = \frac { e^{\eta_i} }{ \sum^k_{j=1} e^{\eta_j}}$
  由于前提3，也就是 $\eta_i$ 是一个 $x$ 的线性函数。所以就有了 $\eta_i= \theta_i^Tx (for\quad i = 1, ..., k − 1)$，其中的 $\theta_1, ..., \theta_{k−1} \in R^{n+1}$ 就是我们建模的参数。因此，我们的模型假设了给定 $x$ 的 $y$ 的条件分布为：
  $\begin{aligned} p(y=i|x;\theta) &= \phi_i \\ &= \frac {e^{\eta_i}}{\sum^k_{j=1}e^{\eta_j}}\\ &=\frac {e^{\theta_i^Tx}}{\sum^k_{j=1}e^{\theta_j^Tx}}\ \end{aligned}$
  这个适用于解决 $y \in{1, ..., k}$ 的分类问题的模型，就叫做 Softmax 回归。 这种回归是对逻辑回归的一种扩展泛化。
  由于前提2，可以发现：
  $\begin{aligned} h_\theta (x) &= E[T(y)|x;\theta]\\ &= E \left[ \begin{array}{c} \phi_1\\ \phi_2\\ \vdots \\ \phi_{k-1}\\ \end{array} \right]\\ &= E \left[ \begin{array}{ccc} \frac {exp(\theta_1^Tx)}{\sum^k_{j=1}exp(\theta_j^Tx)} \\ \frac {exp(\theta_2^Tx)}{\sum^k_{j=1}exp(\theta_j^Tx)} \\ \vdots \\ \frac {exp(\theta_{k-1}^Tx)}{\sum^k_{j=1}exp(\theta_j^Tx)} \ \end{array} \right]\ \end{aligned}$
  最后我们通过极大似然拟合参数 $\theta_i$ ：
  $\begin{aligned} l(\theta)& =\sum^m_{i=1} \log p(y^{(i)}|x^{(i)};\theta)\\ &= \sum^m_{i=1}log\prod ^k_{l=1}\left(\frac {e^{\theta_l^Tx^{(i)}}}{\sum^k_{j=1} e^{\theta_j^T x^{(i)}}}\right)^{1(y^{(i)}=l)}\ \end{aligned}$
  其中$m$是样本数，$k$是分类数，对于每一个种类的概率$\phi_i$有一个相对应的参数向量$\theta_i$(注意：由于第$k$个分类的概率，可以由$1-\sum_{i=1}^{k-1}\phi_i$得来，所以我们定义$\theta_k=0,\phi_k=0$。所以对于逻辑回归(二分类)，参数向量$\theta$只有一个)

• 对单个样本求导
  继续推导$l(\theta)$函数:
  $\begin{aligned} l(\theta)&=\sum^m_{i=1}log\frac {\prod ^k_{l=1}\left(e^{\theta_l^Tx^{(i)}}\right)^{1(y^{(i)}=l)}}{\sum^k_{j=1} e^{\theta_j^T x^{(i)}}} \\ &=\sum^m_{i=1}\left\{\sum^k_{l=1}\left[({1\{y^{(i)}=l\}})\left({\theta_l^Tx^{(i)}}\right)\right]-log{\sum^k_{j=1} e^{\theta_j^T x^{(i)}}}\right\} \end{aligned}$
  所以$l(\theta)$对第$d$种分类对应的参数$\theta_n$求导：
  $\begin{aligned} \frac{\partial l}{\partial θ_d}&=\sum^m_{i=1}\left\{\left[({1\{y^{(i)}=d\}})\left({x^{(i)}}\right)\right]-\frac{e^{\theta_d^T x^{(i)}}}{\sum^k_{j=1} e^{\theta_j^T x^{(i)}}}x^{(i)}\right\}\\ &=\sum^m_{i=1}\left\{\left[({1\{y^{(i)}=d\}})-\frac{e^{\theta_d^T x^{(i)}}}{\sum^k_{j=1} e^{\theta_j^T x^{(i)}}}\right]\left({x^{(i)}}\right)\right\}\\ &=\sum^m_{i=1}\left\{\left[({1\{y^{(i)}=d\}})-SoftMax(e^{\theta_d^T x^{(i)}})\right]\left({x^{(i)}}\right)\right\}\\ \end{aligned}$
• 对参数矩阵$\theta$求导
  设：
  $Y= \begin{bmatrix} y^{(1)}& y^{(2)}& \cdots& y^{(m)}\\ \end{bmatrix}$
  $Y$是$k\times m$的结果矩阵（m为样本数，k为分类总数）,其中$y^{(i)}$是每个样本的分类$T(y)$.
  $X=\left[ \begin{matrix} —(x^{(1)})^T—\\ —(x^{(2)})^T—\\ \vdots\\ —(x^{(m)})^T— \end{matrix} \right]$
  $X$是$m\times n$的特征矩阵(m为样本数，n为特征数)
  $\theta=\left[ \begin{matrix} \theta_1&\theta_2&\cdots&\theta_k \end{matrix} \right]$
  $\theta$是$m \times k$的参数矩阵，对于每种不同的分类有一个参数向量$\theta_i$
  则($\mathbf E$为元素全为1的$k \times k$矩阵)：
  $l(\theta)=\sum^m_{i=1}log\left[\frac {e^{(x^{(i)})^T\theta}}{e^{(x^{(i)})^T\theta}\mathbf E}\right](y^{(i)})$
  将$l(\theta)$修改写为矩阵形式
  $\begin{aligned} l(\theta)&=tr(log[Softmax(X\theta)]Y)\\ &=tr(Ylog[Softmax(X\theta)])\\ &=tr(YX\theta-Ylog(e^{X\theta}\mathbf E)) \end{aligned}$
  求导：
  $\begin{aligned} d(l) &=tr(YXd(\theta))-tr\left(Y\left(\frac{1}{e^{X\theta}\mathbf E}\odot d(e^{X\theta}\mathbf E)\right)\right)\\ &=tr(YXd(\theta))-tr\left(\left(Y^T \odot\frac{1}{e^{X\theta}\mathbf E}\right)^T d(e^{X\theta}\mathbf E)\right)\\ &=tr(YXd(\theta))-tr\left(\mathbf E \left(Y^T \odot\frac{1}{e^{X\theta}\mathbf E}\right)^T d(e^{X\theta})\right)\\ &=tr(YXd(\theta))-tr\left(\mathbf E Y \left(\frac{1}{e^{X\theta}\mathbf E}\odot d(e^{X\theta})\right)\right)\\ &=tr(YXd(\theta))-tr\left(\mathbf E \left(\frac{1}{e^{X\theta}\mathbf E}\odot d(e^{X\theta})\right)\right)\\ &=tr(YXd(\theta))-tr\left(\left(\mathbf E \odot\frac{1}{e^{X\theta}\mathbf E}\right)^T d(e^{X\theta})\right)\\ &=tr(YXd(\theta))-tr\left(\left(\frac{1}{e^{X\theta}\mathbf E}\right)^T\left[(e^{X\theta}) \odot d(X\theta)\right]\right)\\ &=tr(YXd(\theta))-tr\left(\left(\frac{1}{e^{X\theta}\mathbf E}\odot (e^{X\theta}) \right)^T d(X\theta)\right)\\ &=tr(YXd(\theta))-tr\left(\left(\frac{e^{X\theta}}{e^{X\theta}\mathbf E}\right)^Td(X\theta)\right)\\ &=tr(YXd(\theta))-tr\left(\left(\frac{e^{X\theta}}{e^{X\theta}\mathbf E}\right)^TXd(\theta)\right)\\ &=tr\left(\left(Y^T-\left(\frac{e^{X\theta}}{e^{X\theta}\mathbf E}\right)\right)^TXd(\theta)\right)=tr\left(\left(\frac{\partial l}{\partial \theta}\right)^Td(\theta)\right)\\ \end{aligned}$
  所以:
  $\frac{\partial l}{\partial \theta}=X^T\left[Y^T-\left(\frac{e^{X\theta}}{e^{X\theta}\mathbf E}\right)\right]=X^T[Y^T-Softmax(X\theta)]$