基础原理
最小二乘法，也称最小平方法，即计算误差平方和最小，得到的最佳估计。
核心问题：最小二乘估计的合理性证明是什么？ 数学王子高斯（1777－1855）也像我们一样心存怀疑。高斯随后通过概率论的理论证明了最小二乘法的合理性。
理论公式
最简单的最小二乘法
单参数的观测与估计：
法国数学家勒让德表示：总误差平方和最小时，y值即为最佳估计。
当i最大为5时，可得：
当估计的对象为一个一元一次函数时，设估计对象函数为：
若已知测量点（xi,yi），则最小二乘误差为：
不同的a，b参数会导致不同的误差平方和，即误差平方和是a,b的函数。
计算偏导数为0可得：
求解该线性方程组可得a,b得最佳估值。
对于不同得函数关系，对于2，3，4等多参数得估计方法是类似的.
矩阵形式的最小二乘算法
应用矩阵求导的性质：
因此可得：
简化可得：
上式即矩阵形式的最小二乘法的表达式。
对矩阵求导的证明：
递推形式的最小二乘法
参考“朽木为萤”的推导链接， 由于矩阵形式的最小二乘法是建立在全部测量数据已知的情况进行的计算，若想实现测量数据的同时，实现对真值的最小二乘估计则需要用到递推形式，已知k-1时刻的估计值,和k时刻的量侧
，实现估计
。k时刻的观测数据获得下式：
k时刻的估计和以及
的关系为：
括号里是的估计修正，
是修正增益，以最简单的无偏估计为例，即：
即：
对于一般情况，即有偏估计情况下，递推最小二乘的最优准则是：使k时刻估计误差方差之和最小，数学表述为：
因此可得递归最小二乘估计的步骤：
计算增益:
估计值更新:
协方差更新：
应用方法
知识补充
- 概率密度函数：
- 似然函数？
- 最大似然估计？
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
