看了吴恩达《机器学习》,发现了线性回归的概率解释,以及极大似然估计和LSM算法的等价性

概率解释

回归模型假设:

线性回归的概率解释及局部加权回归_似然函数


Epsilon为误差项,并且服从正态分布。在给定x和Epsilon时,y也服从正态分布。

线性回归的概率解释及局部加权回归_权重_02


似然函数:

线性回归的概率解释及局部加权回归_正态分布_03


x和y均为已知,方差固定,即theta为某一取值时,似然函数最大。

极大似然函数求解:

线性回归的概率解释及局部加权回归_正态分布_04


可见两个等价~这个转换的思维还是蛮有趣,记录下。


局部加权回归

与线性回归的差异:目标函数略有不同,对于每一个不同的样本增加了一个权重。

线性回归的概率解释及局部加权回归_正态分布_05


权重的赋予方式:此处Tao越大,权重变化的越平缓~参考正态分布中方差的作用

线性回归的概率解释及局部加权回归_似然函数_06


如果是多元的:

线性回归的概率解释及局部加权回归_权重_07

PS:有空造个数据玩一下