回归是有监督学习。
回归与分类
- 回归预测的目标是一个连续的数值。
- 分类预测的目标是一个离散的类别。
线性回归
线性回归是对“目标变量随着某个特征变量的增大而增大（或者减小）”这种关联性建模的方法。
一元回归
参数 是截距；
是斜率。
通过算法学习得到参数叫参数学习
均方误差指的是目标变量和直线的差的平方的平均值。
误差函数（损失函数）：
过拟合是模型在验证数据上产生的误差比在训练数据上产生的误差（训练误差）大得多的现象。过拟合，导致的泛化能力很低。
泛化能力（generalization ability）是指机器学习模型对未见过的、新样本的适应和推广能力。当一个模型具有良好的泛化能力时，它能够在训练集之外的数据上表现良好，而不仅仅是对用于训练的样本集合进行准确预测。
对原本不遵循线性分布的数据强行进行线性回归也得不到好的结果。
多元回归
一元回归是指独立特征变量只有一个时的线性回归，独立特征变量为两个及以上时的线性回归叫作多元回归。
多项式回归
尽管独立特征变量只有一个，但包含、
这种特征变量的次方项的线性回归叫作多项式回归。
多项式回归对于特征变量 不是线性的，所以称之为“线性”回归可能让人觉得不太合适。但是，是否为线性回归不是从特征变量来看的。从学习参数（在这个例子中是
和
的系数）的角度来看是线性的回归，我们才称为线性回归，所以多项式回归也属于线性回归。
注：
- 线性（linear）表示一个量（如变量、函数或关系）遵循线性关系的性质。
- 线性关系可以用直线来表示，即在二维平面上是一条直线，在多维空间中是一个超平面。
正则化
正则化是防止过拟合的一种方法，与线性回归等算法配合使用。
