也许在我们读高中的时候，就知道在数学的世界里，有一种直线拟合的方式：最小二乘法。它是一种数学优化技术，原理是通过最小化误差的平方和寻找数据的最佳函数匹配。
比如研究x和y之间的关系，假设我们拥有的数据是
将这些数据描绘在x-y直角坐标系中，发现这些点并没有能够连接成一条直线。
但趋势近似一条曲线，这时可以假设这条曲线为：
。根据最小二乘的原理，使
即
最小化,可以得到
值，再根据直线过点
得出b的值。
为横坐标的平均值，
为纵坐标的平均值。其中，
,
。
其实最小二乘法不仅可以拟合直线（一次），还可以拟合曲线（≥2次）。
在温习了高中所学的最小二乘法后，让我们使用大学里线性代数的知识，进行拟合吧。
Ax=b，A是m*n型的矩阵其中m>n，A列满秩，那么Ax=b可能有解，也可能无解。
如果Ax=b有解，因为列满秩，容易得知x的解是唯一的，其实可以想象成空间里投影，就是b在A的列空间上C（A）里投影是唯一的；
如果Ax=b无解，说明b ∉ C（A），那么我们把问题转化一下：求 
这时我们需要一点空间想象的能力，所要求的
我们来看一个点在直线上投影的例子：
如图，我们要求b在a上的投影向量p，只要稍微懂点高中数学的向量知识，我们可以得到下面两个式子：
①p+e=b，e⊥a
②p=ta（t∈R）
因为e⊥a，所以
，也就是
，所以
那么b在a上的投影向量为
又因为
所以投影向量又可以写成
习惯上，我们习惯将
称为投影矩阵，比如对任意b∈
，Sb是b在a上的投影向量。我们会发现一个有趣的性质，
，其实很好理解，Sb是指b在a上的投影向量，那么
则是指b在a上投影一次后的投影，再投影一次，Sb和
无疑是相等的，所以
，根据
容易得出
，此处不进行推导。
接着进行分析，看上图，易知b-p⊥C(A),那么则有
，去括号得
，我们称此方程为法方程，Ax=b可能无解，但
一定有解。那么，
就是最小二乘法拟合下的最优值。接着来看p，因为p=A
，则
。巧妙的，我们可以很容易地发现
这个东西也符合上面投影矩阵S的性质：
。
说了这么多，是不是感觉用线性代数完成最小二乘法特别的方便呢！
