朴素贝叶斯是解决分类任务的好起点,线性回归是解决回归任务的好起点。

简单线性回归

将数据拟合成一条直线。

y = ax + b , a 是斜率, b是直线截距

原始数据如下:

Python指数模型拟合 python指数回归_正则化

使用LinearRegression评估器来拟合数据

Python指数模型拟合 python指数回归_Python指数模型拟合_02

除了简单的直线拟合,还可以处理多维度的线性回归模型。

基函数回归

使用基函数 对原始数据进行变换,从而将变量间的线性回归模型 转换为非线性回归模型。
一维的输入变量x 转换成了 三维变量 x1 x2 x3.
转换后的模型仍然是一个线性模型。将一维的x投影到了高维空间

  • 多项式基函数
    多项式投影非常有用。 使用PloynomialFeatures转换器。

    转换器通过指数函数,将一维数组转换成了三维数组,这个新的高维数组之后可以放在多项式回归模型中。

使用管道实现这些过程。

Python指数模型拟合 python指数回归_线性回归_03

  • 高斯基函数

阴影部分代表不同规模的基函数。把他们放在一起是就会产生平滑的曲线。

正则化

在线性回归引入基函数会让模型变得灵活,但是也更容易过拟合,

Python指数模型拟合 python指数回归_线性回归_04


当 基函数 重叠的时候,通常就表明出现了过拟合: 相邻基函数的系数相互抵消。 这显然是有问题的。如果对较大的模型参数进行惩罚, penalize .从而一直模型的剧烈波动。这个惩罚机制 被称为 正则化。

  • 岭回归 L2范数正则化
    正则化最常见的形式就是 岭回归 ridge regression. 处理方法是 对模型系数 平方和进行惩罚,

a 是一个自由参数,用来控制惩罚力度,这种带惩罚项的模型内置在Scikit-Learn的Ridge评估器中。

Python指数模型拟合 python指数回归_Python指数模型拟合_05


Python指数模型拟合 python指数回归_Python指数模型拟合_06

  • Lasso正则化
    其处理方法是堆模型系数绝对值的和 进行惩罚。

    通过lasso回归惩罚,大多数基函数的系数都变成了0. 所以模型变成了原来基函数的一小部分

案列:预测自行车流量

数据源自不同天气 季节和其他条件通过 美国 西雅图 的一座桥的自行车流量