线性回归模型讲解
个人理解笔记，方便个人学习。
首先线性回归，适用用于模型最好是线性，如果不是线性那可以用其他方法神经网络啊，对于线性的数据x（i）分别指向y（i）
我想干啥子那，我想找到一个数w，然后令
（2）
这就完美了，但是现实不完美肯定不完美，肯定得有个误差Difference，假设为ε ，这个误差在现实中肯定是服从高斯分布的，别问为什么，简单来讲就是预测身高的时候，所有人都是姚明或者都是潘长江的话，那这个世界就乱了，因为我们正常人的身高都是1.70左右，姚明就是异常点，大概这么理解。
p(ε )表示概率那么公式找的
p(d)到底代表什么意思，她代表 我预测的y（i）等于真实值的概率，理解这一点很重要，因为啊接下来，我想要是所有的预测都等于真实值的该多好，那就是所有的预测值都最好都接近真实值，就是概率问题嘛
这个表达式的意思，我也不理解好久没看了，我查了一下，这个叫条件概率，就是，这个是什么意思那，和同学讨论之后得出这样的结果，当w=w（i）的情况下，x(i)刚好预测结果是y(i)的概率，大白话讲就是：我们不用管式三，我们想：
我在预测身高，那我预测的结果应该服从什么分布？？？？必定是高斯分布，姚明也是独立的个体，我们在预测姚明的时候预测正确的概率很低，为什么？因为姚明在在正态分布的边缘，这里就不难理解啊，我就当在预测身高，不用管什么误差！
接下来我想干啥，要是所有人都预测正确多好，那概率就是所有人相乘 的概率嘛
（5）
对于这个式子学术上叫他， 最大似然估计，我们想一下我应该想让他越大越好吧，那样我的模型应该是最完美的吧，求他的最大值，不太好求，对数相乘改为相加。
（6）化简这个公式，得到目标函数
注意：这里我们的式子（6）到式子（7）不相等啊，式子(7)只是取了其中一部分而且这一部分是负值！！！！！！！！
这也是最小二乘法越小越好的原因！他越小我们估计的越准确！！！！！！！
（7）（最小二乘法）
不管我们求最大值或者最小值都得求偏导数，因此求偏导，当然我们想求最小值
（8）
5. 令偏导等于0：
（9）
得到：
（10）
情况一：可逆，唯一解。令公式（10）为零可得最优解为：
（11）
学得的线性回归模型为:
（12）
情况二：不可逆，可能有多个解。选择哪一个解作为输出，将有学习算法的偏好决定，常见的做法是增加扰动。
