3.1线性回归
回归是能为一个或多个自变量与因变量之间关系建模的一类方法。在机器学习领域中，大多数任务与预测有关。预测一个数值时，与回归有关。
3.1.1线性回归的基本元素
数据集：训练数据集或训练集
每行数据：样本，数据点，样本数据
预测的目标：标签或目标
自变量：特征
3.1.1.1线性模型
权重w：决定每个特征对预测值的影响
偏置b：所有的特征取值为0，预测值是多少
给定一个数据集，线性回归的目标是寻找模型的最佳的权重w和偏置b使损失函数最小.
使模型做出的预测准确寻找最好的模型参数w和b，需要做的
1.模型质量的度量 2.提高模型预测质量的方法
3.1.1.2损失函数
量化目标与实际值与预测值的差距，最常用平方误差函数.
为了度量模型的质量，计算在训练集N个样本的损失均值
在训练模型时，寻找一组参数（W*,b*）。使损失函数最小
3.1.1.3 随机梯度下降
梯度:函数对x,y的偏导数。函数变化增加最快的地方。沿梯度方向，就是f增加最快的地方。损失函数沿着梯度的反方向，梯度减少最快，找到最小值。
随机梯度下降:不断的在损失函数递减的方向上 更新参数 降低误差
梯度下降的用法：计算损失函数关于模型参数的导数，在每次计算更新的时候，随机抽取一小批量样本B。计算小批量的平均损失关于模型参数的导数（梯度），然后梯度乘*正数n学习率。然后取负号。
算法步骤:
1.初始化模型参数的值，随机初始化
2.从数据集随机抽取小批量样本，负梯度更新参数，不断迭代。
二，线性回归
线性模型：
1.给定的n维输入
2.线性模型有一个n维权重
标量偏差b
3.输出是输入的加权和
向量表示 y =<w,x>+b
线性模型可以看作单层的神经网络
4.L2Loss平方损失
5.收集一些数据，来决定参数的值（权重和偏差）
6.训练损失：平均的损失值
最小化损失 来学习参数
【总结】
三。优化方法
1.梯度下降
①挑选一个初始值w0
② 重复迭代参数 t=1,2,3
梯度下降的公式
学习率:步长，不能太大，也不能太小
梯度方向，上升最快的方向。沿着负方向就是下降最快的。
2.小批量随机梯度下降：
梯度：对损失函数求导、
随机采样b个样本
