代价函数

梯度下降

正则化

线性回归

模型

y=f(x)=w⋅x+b

GAN 分类损失 回归损失 回归模型损失函数_正则化


y=f(x)=0.3345⋅x+121.27

1、模型

GAN 分类损失 回归损失 回归模型损失函数_线性回归_02


GAN 分类损失 回归损失 回归模型损失函数_线性回归_03

度量函数

损失函数(Loss Function)

度量单样本预测的错误程度，损失函数值越小，模型就越好。常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等

代价函数(Cost Function)

度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误差等

目标函数(Object Function)

代价函数和正则化函数，最终要优化的函数

GAN 分类损失 回归损失 回归模型损失函数_正则化_04

回归问题的求解

梯度下降法（Gradient Descent Algorithm）

GAN 分类损失 回归损失 回归模型损失函数_python_05


GAN 分类损失 回归损失 回归模型损失函数_正则化_06


GAN 分类损失 回归损失 回归模型损失函数_损失函数_07


GAN 分类损失 回归损失 回归模型损失函数_损失函数_08


GAN 分类损失 回归损失 回归模型损失函数_python_09


GAN 分类损失 回归损失 回归模型损失函数_GAN 分类损失 回归损失_10

批量梯度下降法Batch Gradient Descent

GAN 分类损失 回归损失 回归模型损失函数_python_11

随机梯度下降法Stochastic Gradient Descent

GAN 分类损失 回归损失 回归模型损失函数_python_12

小批量梯度下降法Mini-batch Gradient Descent

GAN 分类损失 回归损失 回归模型损失函数_线性回归_13


GAN 分类损失 回归损失 回归模型损失函数_python_14

最小二乘法（Least Square Method）

GAN 分类损失 回归损失 回归模型损失函数_线性回归_15


GAN 分类损失 回归损失 回归模型损失函数_损失函数_16


GAN 分类损失 回归损失 回归模型损失函数_GAN 分类损失 回归损失_17

多项式回归

GAN 分类损失 回归损失 回归模型损失函数_正则化_18


例子见ppt

模型选择

当假设空间含有不同复杂度（例如，不同的参数个数）的模型时，就要面临模型选择的问题

希望选择或学习一个合适的模型能逼近“真”模型

如果一味追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，这种现象叫做过拟合

GAN 分类损失 回归损失 回归模型损失函数_正则化_19

正常拟合、欠拟合、过拟合

GAN 分类损失 回归损失 回归模型损失函数_GAN 分类损失 回归损失_20

正则化

GAN 分类损失 回归损失 回归模型损失函数_线性回归_21


GAN 分类损失 回归损失 回归模型损失函数_正则化_22


GAN 分类损失 回归损失 回归模型损失函数_python_23

岭回归（Ridge Regression）

GAN 分类损失 回归损失 回归模型损失函数_GAN 分类损失 回归损失_24


GAN 分类损失 回归损失 回归模型损失函数_正则化_25


GAN 分类损失 回归损失 回归模型损失函数_GAN 分类损失 回归损失_26

套索回归（Lasso Regression）

GAN 分类损失 回归损失 回归模型损失函数_python_27


GAN 分类损失 回归损失 回归模型损失函数_正则化_28

弹性网络（Elastic Net）

GAN 分类损失 回归损失 回归模型损失函数_python_29

L1和L2正则化项的区别

GAN 分类损失 回归损失 回归模型损失函数_线性回归_30


因为L1范数正则化项的“稀疏解”特性，L1更适合用于特征选择，找出较为“关键”的特征，而把一些不那么重要的特征置为零。

L2范数正则化项可以产生很多参数值很小的模型，也就是说这类的模型抗干扰的能力很强，可以适应不同的数据集，适应不同的“极端条件”

交叉验证

当给定的样本数据充足，随机地将数据集切分为三部分
训练集：用来训练模型
验证集：用于模型的选择
测试集：用于最终对学习方法的评估
在学习到的不同复杂度的模型中，选择对验证集有最小预测误差的模型

当给定的样本数据不足

1、简单交叉验证

首先随机地将已给数据分为两部分，训练集和验证集

然后用训练集在各种条件下训练模型，从而得到不同的模型

在验证集上评价各个模型的测试误差，选择测试误差最小的模型

2、K折交叉验证

选择K次评测中平均测试误差最小的模型

3、留一交叉验证

K折交叉验证的特殊情形 K = N

往往在数据缺乏的情况下使用

GAN 分类损失 回归损失 回归模型损失函数_线性回归_31

Scikit-learn库中的线性回归

分类
详见官方文档

应用

应用一：线性回归基础篇之预测鲍鱼年龄
应用二：线性回归提高篇之乐高玩具套件二手价预测