之所以说”使用”而不是”实现”，是因为python的相关类库已经帮我们实现了具体算法，而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累，当类库中的算法已经无法满足自身需求的时候，我们也可以尝试通过自己的方式实现各种算法。

言归正传，什么是”最小二乘法”呢？

定义：最小二乘法(又称最小平方法)是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。

作用：利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

原则：以”残差平方和最小”确定直线位置(在数理统计中，残差是指实际观察值与估计值之间的差)

数学公式：


基本思路：对于一元线性回归模型,假设从总体中获取了n组观察值(X1，Y1)，(X2，Y2)，…，(Xn，Yn)，对于平面中的这n个点，可以使用无数条曲线来拟合。而线性回归就是要求样本回归函数尽可能好地拟合这组值，也就是说，这条直线应该尽可能的处于样本数据的中心位置。因此，选择最佳拟合曲线的标准可以确定为：使总的拟合误差(即总残差)达到最小。

实现代码如下，代码中已经详细的给了注释：

结果如下所示：

输出结果：

k= 0.900458420439 b= 0.831055638877

cost：1

求解的拟合直线为:

y=0.9x+0.83

绘图结果：


补充说明：简单的列举了直线的情况，曲线的求解方式类似，但是曲线会存在过度拟合的情况，在以后的博客中会讲到。