问题:面积100平米售价120万是否值得投资?
回归问题的求解以及梯度下降法_拟合
1、确定x、y间的定量关系
y=f(x)

这一步是核心,有了这个定量关系,才能进一步去预测价格,然后进一步作出判读

2、根据关系预测合理价格
3、做出判断

如图,把对应的数进行可视化,然后通过线性模型y=ax+b去拟合这些点,对应了回归分析的方法。
回归问题的求解以及梯度下降法_回归_02
原因:线性模型最基础最简单,而且点的分布接近于线性分布的
根据模型y=ax+b,那么就可以把整个问题转化成求解合理的a和b的过程。

若当a=0;b=1000000,如图
不符合数据点的分布,点到线的距离差距过大,也不符合实际情况。
回归问题的求解以及梯度下降法_机器学习_03
若当a=-100000;b=1500000,如图
点和线差距更大,即拟合程度更加偏离实际值了。
回归问题的求解以及梯度下降法_线性模型_04
假设,可以先把a和b先假设出来

假设有m套房子,每套房子面积对应实际售价为
线性模型预测的售价为,让尽可能接近,则拟合就是好的,

,m为样本数,即为损失函数,代表了样本的实际结果和预测结果的距离的平方和,这个要尽可能的小。

若拟合理想,则如图。
回归问题的求解以及梯度下降法_拟合_12
求解过程,判断那条线拟合程度更好。
回归问题的求解以及梯度下降法_拟合_13
代入公式进行计算

1.83>0.583,所以绿色的线拟合会更好

那么在a和b未知的情况下,首先我们就采用梯度下降法进行求解a,b

梯度下降法引入

现实问题的思考
选择哪一种路线下山速度最快,即选择坡度最大的方向。
回归问题的求解以及梯度下降法_算法_16

寻找函数极小值的方法
核心:计算开始点对应梯度,以一定步长向梯度反方向到达新的点,重复此过程,直到几乎不再变化。
搜索方法:

即是从一个点出发,沿着梯度相反的方向,走一定的步长,找到新的点,直到新的点和旧的点不再变化了,就找到了极小值的点

例子
回归问题的求解以及梯度下降法_机器学习_27

=1,=0.01
=?

根据
代入 =1-0.01·(2·1-4)=1.02
这期间点就会往前挪动,直到挪动到逐渐接近极小值点x=2,来回不怎么变化,那么就找到了那个点。
回归问题的求解以及梯度下降法_算法_34

minimize(J)
需要我们去寻找a和b使损失函数最小

重复计算直到收敛
首先计算机会生成临时变量

传入下面的值

然后继续循环,往上代入计算

回归问题的求解以及梯度下降法_线性模型_42
通过梯度下降法,从山丘某点出发,可以找到下降到山底最快的线路