文章目录
- 概述
- 最小二乘法几何表示
2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。
概述
之前我们讲到了最小二乘法就是找到一条直线去拟合我们的数据
这是从这幅图中得出的结论，那么本篇文章从一个新的角度去论述这个事情。
最小二乘法几何表示
在将之前，我们举个线代中的例子来引出我们的问题：
现在有矩阵 ，矩阵
，存在矩阵方程 ：
我们的目的就是求解方程 ，此时我们把上述方程换个表示方法：
从这个方程很容易看出我们的Y向量可以由我们A矩阵的列向量线性表示，换种更高级的说法就是此时 向量在
和向量
换而言之，如果上述方程有解，则应该满足y向量在A的列空间中，这里采用了工程代数的理念，没有使用传统现代中秩的概念。
那么我们尝试将上面方程换成我们的拟合方程：
我们此时是要求解W，那么和上面问题同理，将问题转化为能够找到一组系数w使得y向量能由X的列向量线性表示，高级的说法就是使我们的y处在X的列向量空间中。
为了推导以及画图方便，我们将X的维度设为2
这里X1和X2代表两个维度，我们的目的就是希望y落在x1和x_2形成的平面上，如果是这样的话那么说明该方程有解，也就是能够找到一组系数w使得我们的直线能够拟合所有的样本，但是这在显示中往往不成立，一条直线不可能拟合所以数据，那也就是肯定会有误差，那么我们上述的方程就会无解，那怎么办呢？
如果y落在该平面说明有解，能够拟合所有数据，而现在我们在该平面找不到y，y不在这个平面上，那么我们就希望在该平面找到一条直线近似的代替y，怎样才能使它与y相似呢？
将我们的直线y向该平面做投影，此时y和这条投影直线是最为相似的，我们可以使用这条投影直线来近似代替我们的y，所以此时就存在我们的垂线a垂直于该平面中任何一条直线。
其中 ，利用向量的减法，而平面中的任何向量用
来代替，因为已经垂直该平面的所以直线，而
则满足
所以：
可以观察到该方程和我们使用最小二乘估计得出的方程使一致的，然后解出w：
此时的w*的意义就是我们用来近似Y的那条直线的系数。
写在最后
一键三连”哦！！！
