Java 最小二乘法回归 最小二乘法求回归参数

这几天看书的时候突然注意到了这个经典的优化方法，于是重新推导了一遍，为以后应用做参考。

背景

最小二乘法应该是我接触的最早的优化方法，也是求解线性回归的一种方法。线性回归的主要作用是用拟合的方式，求解两组变量之间的线性关系（当然也可以不是线性的，那就是另外的回归方法了）。也就是把一个系统的输出写成输入的线性组合的形式。而这组线性关系的参数求解方法，就是最小二乘法。

我们从最简单的线性回归开始，即输入和输出都是1维的。此时，最小二乘法也是最简单的。

假设有输入信号$x = \{x_0, x_1, ..., x_t\}$，同时输出信号为$y = \{y_0, y_1, ..., y_t\}$，我们假设输入信号$x$和输出信号$y$之间的关系可以写成如下形式：

$y_{pre} = ax+b \tag{1}$

我们需要求解最优的$a$和$b$，这里最优的含义就是，预测的最准确，也就是预测值和真实值的误差最小，即：

$arg\, min_{a, b}{\sum_{i=0}^{t}{(y_i-ax_i-b)^2}} \tag{2}$

我们假设误差函数为：

$err = \sum_{i=0}^{t}{(y_i-ax_i-b)^2} \tag{3}$

$err$对$a$和$b$分别求偏导：

$\frac{\partial{err}}{\partial{a}} = \sum_{i=0}^{t}{2(ax_i+b-y_i)*x_i} \tag{4}$

$\frac{\partial{err}}{\partial{b}} = \sum_{i=0}^{t}{2(ax_i+b-y_i)} \tag{5}$

根据极值定理，有$\frac{\partial{err}}{\partial{a}}=0$，且$\frac{\partial{err}}{\partial{b}}=0$，所以有：

$\sum_{i=0}^{t}{2(ax_i+b-y_i)} = 0 \tag{6}$

$\sum_{i=0}^{t}(y_i - ax_i) = \sum_{i=0}^{t}{b} \tag{7}$

$\sum_{i=0}^{t}{y_i} - a * \sum_{i=0}^{t}{x_i} = (t+1)*b \tag{8}$

$b = \bar{y} - a\bar{x} \tag{9}$

其中，$\bar{y}$表示$y$的均值，$\bar{x}$表示$x$的均值。将Eq(9)代入Eq(4)，有：

$\sum_{i=0}^{t}{2(ax_i+b-y_i)*x_i} = 0 \tag{10}$

$\sum_{i=0}^{t}{ax_i^2} + \sum_{i=0}^{t}bx_i = \sum_{i=0}^{t}{y_ix_i} \tag{11}$

$a\sum_{i=0}^{t}x_i^2 + \bar{x}(\bar{y}-a\bar{x}) = \sum_{i=0}^{t}{x_iy_i} \tag{12}$

$a(\sum_{i=0}^{t}{x_i^2 - \bar{x}^2}) = \sum_{i=0}^{t}{x_iy_i}-\bar{x}\bar{y} \tag{13}$

$a = \frac{\sum_{i=0}^{t}{x_iy_i}-\bar{x}\bar{y}}{\sum_{i=0}^{t}{x_i^2 - \bar{x}^2}} \tag{14}$

所以Eq(14)和Eq(9)就是最简单的最小二乘法的计算方法。

然后我们进一步考虑，如果输入和输出是多维数据，要如何计算。

假设输入信号为$X \in R^{m*t}$， 输出信号为$Y \in R^{n*t}$，那么有：

$Y = W_0X+B = WX_1 \tag{15}$

其中$W_0 \in R^{n*m}$是回归矩阵的系数，$B \in R^{1*t}$表示常数项，这里可以直接写到$W$矩阵中。$W \in R^{n*(m+1)}$，$X_1 \in R^{(m+1)*t}$
$X_1 = \begin{bmatrix} x_{11} &x_{12} & ... &x_{1t}\\ x_{11} &x_{12} & ... &x_{1t}\\ {\vdots} &{\vdots} &... &{\vdots}\\ x_{m1} &x_{m2} &... &x_{mt}\\ 1 &1 &... &1\\ \end{bmatrix} \tag{16}$

所以有：

$\arg min_{W}({Y-WX_1}) \tag{17}$

假设误差函数为$E$，则有：

$E = (Y-WX_1)(Y-WX_1)^T = YY^T - WX_1Y^T-YX_1^TW^T+WX_1X_1^TW^T \tag{18}$

计算$E$对$W$的偏导，则该偏导等于0：

$\frac{\partial{E}}{\partial{W}} = -X_1Y^T-X_1Y^T + 2WXX^T = 0 \tag{19}$

所以有：

$W = (X_1X_1^T)^{-1}X_1Y^T \tag{20}$

至此矩阵形式的最小二乘法（多元线性回归的参数解法）推导完成。注意这里的$X_1$和$Y$中的数据排列方式为：每一行是一个维度的数据，每一列表示一个时间点。如果不是这么记录的话，那么公式需要加上转置。