目录
一：线性回归介绍：
1： 线性回归的应用场景：
- 1：房价预测。
- 2：销售额度预测。
- 3：贷款额度预测。
2：定义与公式：
- 1：线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
- 2：特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。
二：线性回归API使用：
1：案例描述：
假定：学生的最终成绩和平时成绩与期末成绩成线性关系，现在给定训练集，进行训练。
2：初始化：
from sklearn.linear_model import LinearRegression
# 平时成绩与期末成绩
x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
# 最终成绩
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
3：进行训练：最终得到线性参数分别是0.3和0.7，预测的考试成绩是86分。
# 实例化API
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
print(estimator.coef_) # 线性参数
estimator.predict([[100, 80]])
三：求导回顾：
- 导数就是切线的斜率。
1：常见函数的导数：
2：导数的四则运算：
四：线性回归的损失和优化
1：损失函数的定义：
2：正规方程：
1： 了解正规方程：
2：正规方程的推导过程：
3：梯度下降：
1： 啥叫梯度？
2：理解梯度下降：
思考一：学习率的作用？
3：梯度下降公式：
4：正规方程和梯度下降的对比：
五：梯度下降算法：
1：复习有关线性回归的概念：
2：梯度下降算法的推导过程：
3：常见的梯度下降算法：
- 1：全梯度下降算法。
更新参数的时候采用所有的样本进行更新，计算训练集所有样本误差，对其求和再取平均值作为目标函数。
- 2：随机梯度下降算法。
每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值。
- 3：小批量梯度下降算法。
每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用全梯度下降算法迭代更新权重。
- 4：随机平均梯度下降算法。
随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数。
