假设刚才的房子例子，真实的数据之间存在这样的关系
真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率那么现在呢，我们随意指定一个关系（猜测）
随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子
既然存在这个误差，那我们就将这个误差给衡量出来
1 损失函数
总损失定义为：
- yi为第i个训练样本的真实值
- h(xi)为第i个训练样本特征值组合预测函数
- 又称最小二乘法
如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！
2 优化算法
如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
线性回归经常使用的两种优化算法
2.1 正规方程
2.1.1 什么是正规方程
理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果
缺点：当特征过多过复杂时，求解速度太慢并且得不到结果
2.1.2 正规方程求解举例
以下表示数据为例：
即：
运用正规方程方法求解参数：
2.1.3 正规方程的推导
- 推导方式一：
把该损失函数转换成矩阵写法：
其中y是真实值矩阵，X是特征值矩阵，w是权重矩阵
对其求解关于w的最小值，起止y,X 均已知二次函数直接求导，导数为零的位置，即为最小值。
求导：
注：式(1)到式(2)推导过程中, X是一个m行n列的矩阵，并不能保证其有逆矩阵，但是右乘XT把其变成一个方阵，保证其有逆矩阵。
式（5）到式（6）推导过程中，和上类似。
推导方式二
一、含义
正规方程是通过求解代价函数的导数，导数为0来求得theta的值。
二、推导
上面第一个等式是线性回归的代价函数，写成向量化的形式即为第二个等式，向量的转置乘以该向量的含义是求向量中各元素的平方和，即XT * X = x12+x22+...+xn2
对代价函数求导：
令导数为0时即为theta最小值
三、表现
注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。
梯度下降与正规方程的比较：
梯度下降 | 正规方程 |
需要选择学习率 | 不需要 |
一次运算得出，当特征数量n大时也能较好适用 | 需要计算如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为 ，通常来说当n小于10000 时还是可以接受的 |
适用于各种类型的模型 | 只适用于线性模型，不适合逻辑回归模型等其他模型 |
把损失函数的结果用梯度下降求出最小值。这个求解过程叫做线性回归。损失函数越小，模型就越好。
