广义据估计 GMM python 广义矩估计gmm法在eviews中

1.矩估计

  矩估计是什么呢？简单的说，就是用样本矩代替总体矩进行统计推断的方法。
  一个最基础的例子是正态总体的参数估计问题。如果$X_i \sim N(\mu,\sigma^2)$，如何估计$\mu$和$\sigma^2$呢？ 统计学一般会介绍两种估计方法：极大似然估计和矩估计。
总体矩条件：
$\begin{aligned} \mu &= E(x) \\ \sigma^2 &= E(x^2)- \mu^2 \end{aligned}$ 样本矩条件：
$\begin{aligned} \hat\mu &= \frac {1}{N} \sum_{i=1}^N x_i=\bar x_i \\ { \hat {\sigma^2}} &= \frac {1}{N} \sum_{i=1}^N x_i^2 -\hat\mu ^2 = \frac {1}{N} \sum_{i=1}^N x_i^2 -{(\bar x_i)}^2 = \bar {x_i^2}+\bar x_i^2 \end{aligned}$

$\bar x_i - \mu$ = Op(1) ；$\bar x_i^2 =\mu^2+\sigma^2$

1.1 OLS估计

OLS估计是矩估计的一个特例。OLS估计的公式为：
$Y_i = {X_i} ^{\prime} \beta+\mu_i$

$X为k\times n矩阵；X_i为k\times 1向量；1；{X_i} ^{\prime}为1\times k向量；\beta 为k\times 1向量； Y_i为1\times 1向量； \mu_i为1\times1向量$

由于$X_i$和$\mu_i$无关，则
$E(\mu_i|X_i)=0 \rightarrow E(X_i \mu_i)=0 \rightarrow E(X_i(Y_i - {X_i} ^{\prime} \beta ))=0$其中$E[X_i(Y_i - {X_i} ^{\prime} \beta )]=0$是总体矩条件，对应的样本矩条件为：$\frac {1}{N} \sum \limits_{i=1}^N [X_i (Y_i-{X_i}^{\prime} \hat \beta_{MM} )]=0$，得到：
$\widehat \beta_{MM}= \frac {\sum \limits_{i=1}^N (X_iY_i)} {\sum \limits_{i=1}^N (X_i {X_i}^{\prime} )}$ 另一种推导方法：
$\begin{aligned} & Y= X \beta+\mu \\ & \Rightarrow E[X^{\prime} u] =E[X^{\prime} (Y-X \beta)] = 0 \\ &\Rightarrow \widehat \beta_{MM} = [X^{\prime} X]^{-1} X^{\prime} Y \end{aligned}$

$此处 X为n\times k矩阵；\beta 为k\times 1向量；Y为n \times 1向量； \mu为n \times 1向量；$
$[X^{\prime} X]^{-1}为k\times k矩阵；X^{\prime} Y为k\times 1矩阵；\Rightarrow \widehat \beta_{MM} 为k\times 1向量；$

1.2 IV估计

$Z_i$满足条件：$E(\mu_i|Z_i)=0$，因此总体矩条件为：$E[Z_i(Y_i - {X_i}^{\prime} \beta )]=0$，对应的样本矩条件为：$\frac {1}{N} \sum \limits_{i=1}^N [Z_i (Y_i- {X_i}^{\prime} \hat \beta_{MM} )]=0$，得到：$\widehat \beta_{MM}= \frac {\sum \limits_{i=1}^N (Z_iY_i)} {\sum \limits_{i=1}^N (Z_i {X_i}^{\prime})}$ 另一种推导方法：
$\begin{aligned} & \Rightarrow E[Z^{\prime} u] =E[Z^{\prime} (Y-X \beta)] = 0 \\ &\Rightarrow \widehat \beta_{MM} = [Z^{\prime} X]^{-1} Z^{\prime} Y \end{aligned}$

2.广义矩估计

2.1 为什么要使用广义矩估计

  GMM 是矩估计(MM)的推广。在恰好识别情况下(待估参数个数等于矩条件个数)，目标函数的最小值等于 0，GMM 估计量与 MM 估计量等价；然而在过度识别情况下(待估参数个数小于矩条件个数)，MM 不再适用，GMM 可以有效地组合矩条件，使 GMM 比 MM 更有效。
  在估计正态分布$\mu$和$\sigma^2$的例子中，我们只使用了两个矩条件。然而我们知道，正态分布的矩是有无穷多个可以用的，那么我们是不是可以使用更多的矩条件呢（更多的矩条件意味着更多的信息）？但是有个问题不好解决。在这个例子里面，我们有两个未知参数，如果只使用一阶矩，那么只有一个方程解两个未知数，显然是不可能的。像上面一样，我们用两个矩条件解两个未知数，就解出来了。然而，当我们用一到三阶矩，总共三个方程求解的时候，三个方程求解两个未知数，可能无解。方程数多了，反而没有解了，为什么呢？其实很简单，用三个方程中的任意两个方程，都可以求出一组解，那么三个方程我们就可以求出三组解。所以应该如何把这些矩条件都用上呢？到这里我们不妨引入一些记号。
$g(x_i,\theta) = [\bar {x_i}-\mu,\bar {x_i^2}-\mu^2-\sigma^2,\bar {x_i^3}-\mu^3-3\mu\sigma^2]^{\prime},\theta = {\mu,\sigma^2}$ 我们可以得到一个3*1的列向量，并且：
$E[g(x_i,\theta)] =0$ 用样本矩代替总体矩：
$\frac {1}{N} \sum\limits_{i=1}^N [g(x_i,\hat \theta)] =0$

  解这个方程应该就可以得到参数θ的估计。但是正如上面所说的，三个方程两个未知数，并不能确保这个方程有解，所以必须想一些其他办法。由于上面的g函数是一个3*1的列向量，我们可以使用一个权重矩阵W来赋予每个矩条件以不同的权重：
$\min \limits_{\hat \theta_i} = \left[ \frac {1}{N} \sum\limits_{i=1}^N [g(x_i,\hat \theta)] \right]^{\prime} * W\left[ \frac {1}{N} \sum\limits_{i=1}^N [g(x_i,\hat \theta)] \right] \tag{1}$

  只要这个W是一个正定矩阵，那么仍然可以保证每个样本矩都足够贴近于0。那么问题来了，既然对W的要求只要求正定矩阵，那么使用不同的权重矩阵就有可能得到不同的结果。问题是，有没有一个最优的权重矩阵呢？当然是有的。可以证明，最优的权重矩阵应该是：
$[E[g(x_i,\theta)] {g(x_i,\theta)}^{\prime}]^{-1}$

2.2 IV估计

总体矩条件：$E[z_i(y_i - x_i^{\prime} \beta)]=0$，代入上面的公式，最优权重矩阵(的逆)为：
$\begin{aligned} E[g(x_i,\theta)] {g(x_i,\theta)}^{\prime} &=E[z_i (y_i - x_i^{\prime} \beta )] {[z_i (y_i - {x_i}^{\prime} \beta)]}^{\prime} \\ &=E[z_i (y_i - x_i^{\prime} \beta )] [{(y_i - \beta x_i)}^{\prime} z_i^{\prime}] \\ &=E[z_i \epsilon^2 {z_i}^{\prime}] \\ &=\sigma^2 *\frac {1}{N} \sum\limits_{i=1}^N z_i {z_i}^{\prime} \end{aligned}$ 把最优权重矩阵代入1式：
$\begin{aligned} \min \limits_{\beta}&= {[z_i(y_i - {x_i}^{\prime} \beta )]}^{\prime} * \sigma^2*[z_i*{z_i}^{\prime}] \\ &= \sigma^2* {[Z^{\prime}(Y-X\beta)]}^{\prime} [{Z}^{\prime}Z]^{-1} =0 \end{aligned}$ 对上式左右两边同时乘以$Z^{\prime} (Y-X\beta)$：
$\sigma^2* {[Z^{\prime}(Y-X\beta)]}^{\prime} [{Z}^{\prime}Z]^{-1} Z^{\prime} (Y-X\beta) =0 \tag{2}$ 对2式求一阶导得：
$\frac {\partial (Y-X\beta) } {\partial X} * \frac {\partial \{ {(Y-X\beta)}^{\prime}Z ({Z}^{\prime}Z)^{-1} Z^{\prime} (Y-X\beta) \} }{\partial (Y-X\beta) } = X^{\prime}(A+A^{\prime})X \\ =X^{\prime} \ (Z ({Z}^{\prime}Z)^{-1} Z^{\prime}) \ {(Z ({Z}^{\prime}Z)^{-1} Z^{\prime})}^{\prime} (Y-X\beta) \\ =2*X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} (Y-X\beta) =0 \tag{3}$

矩阵求导公式 参考$\begin{aligned} \frac {\partial (X^TAX)}{\partial X} = (A+A^T)X ； \quad \frac {\partial (AX)}{\partial X} = A^T \end{aligned}$

由3式子得到$\widehat \beta$：
$\widehat \beta = \{X^{\prime} Z({Z}^{\prime}Z)^{-1} Z^{\prime} X\}^{-1} X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} Y \tag{4}$ 令$\hat X^{\prime} = X^{\prime} Z({Z}^{\prime}Z)^{-1} Z^{\prime}$，则$\widehat \beta = [\hat X^{\prime} X]^{-1} \hat X^{\prime} Y = [\hat X^{\prime} \hat X^{\prime}]^{-1} \hat X^{\prime} Y$，正是两阶段最小二乘的第二步。
$\hat X= Z({Z}^{\prime}Z)^{-1} Z^{\prime} X = Z \widehat \gamma$，其中$\widehat \gamma = ({Z}^{\prime}Z)^{-1} Z^{\prime}X$，正是两阶段最小二乘的第一步

两阶段最小二乘的推导：
阶段一：
工具变量Z回归X，得到X拟合值。
$\begin{aligned} & X = Z \gamma +\epsilon \\ & \Rightarrow \widehat \gamma = [Z^{\prime} Z]^{-1} Z^{\prime} X \\ & \Rightarrow \widehat X = Z \widehat \gamma = Z [Z^{\prime} Z]^{-1} Z^{\prime} X \end{aligned}$ 阶段二： X拟合值回归Y，得到$\widehat \beta$与用广义矩估计得到的4式相同
$\begin{aligned} & Y = \widehat X \beta +\mu \\ \Rightarrow \widehat \beta & = [{ \widehat X}^{\prime} \widehat X]^{-1} { \widehat X}^{\prime} Y \\ &=\{ (Z [Z^{\prime} Z]^{-1} Z^{\prime} X)^{\prime} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) \} ^{-1} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) Y \\ &=\{ (X^{\prime} Z [Z^{\prime} Z]^{-1} Z^{\prime} ) (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) \} ^{-1} (Z [Z^{\prime} Z]^{-1} Z^{\prime} X) Y \quad [Z^{\prime} Z]^{-1} Z^{\prime} Z = I \\ &= \{X^{\prime} Z({Z}^{\prime}Z)^{-1} Z^{\prime} X\}^{-1} X^{\prime} Z ({Z}^{\prime}Z)^{-1} Z^{\prime} Y \end{aligned}$

附录

一、矩阵形式表示线性回归

线性回归表达形式：
$Y_i = \beta_0+\beta_1 x_{1i}+...++\beta_1 x_{ki}+\epsilon_i \qquad i表示样本(共n个样本)，k表示特征$用矩阵形式表达为：$Y = X\beta+\epsilon$；
$X_{n \times k}= \begin{bmatrix} 1 &x_{11} & x_{21} & \cdots & x_{k1} \\ 1& x_{12} & x_{22} & \cdots & x_{k2} \\ \vdots& \vdots & \vdots & \ddots & \vdots \\ 1&x_{1n} & x_{2n} & \cdots\ & x_{kn} \\ \end{bmatrix} ； \quad \beta_{k \times 1}=\begin{bmatrix} \beta_{1} \\ \beta_{2} \\ \vdots \\ \beta_{k} \\ \end{bmatrix}； \quad \epsilon_{n \times 1}=\begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \\ \end{bmatrix}$
或者$Y_i = {X_i} ^{\prime} \beta+\epsilon_i$，两种矩阵表示形式的X不一样
其中:
$X_{k \times n} = \begin{bmatrix} 1&1 & \cdots &1 \\ x_{11} & x_{12} & \cdots & x_{1n} \\ x_{21} & x_{22} & \cdots & x_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{k1} & x_{k2} & \cdots\ & x_{kn} \\ \end{bmatrix} ； \quad X_{i \ (k \times 1)} = \begin{bmatrix} x_{1i} \\ x_{2i} \\ \vdots \\ x_{ki} \\ \end{bmatrix} ; \quad X_{i \ (1\times k)}^{\prime} = \begin{bmatrix} x_{1i} & x_{2i} & \cdots & x_{ki} \\ \end{bmatrix}$

二、参考资料

GMM估计内生性工具变量与GMM估计 如何用简单的例子解释什么是 Generalized Method of Moments (GMM)？GMM-简介及实现范例