线性回归权重

文章目录

• 线性模型基本形式
• 线性回归
• 求解参数w和b
• 常见的参数求解方法
• 批量与小批量算法
• 正则化（参数范数惩罚）

线性模型基本形式

通过属性的线性组合来进行样本预测：

$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$

写成向量的形式：

$f(x)=w^Tx+b$

w 表示每个属性的权重，b 为偏置值，x 为样本向量，f(x) 为预测值

线性回归

回归分析是一种预测性的建模，研究自变量和因变量之间的关系

数学描述：

给定训练集 $\{(x_i, y_i),i=1,...,n\},x∈R^P,y_i∈R$

其中 $y_i=f(x_i)+ϵ_i$

$ϵ_i$ 表示对 $y_i$

求解参数w和b

一般来说，我们要使预测值的均方误差最小，此时的参数就是我们要的参数

代价函数：

$J(w,b) =∑_{i=1}^nϵ^2_i=∑^n_{i=1}(y_i − f(x_i))^2$

线性回归模型使⽤最⼩⼆乘法进⾏训练。

最小二乘准则：各个训练样本的预测残差平方和最小。

通过最小化代价函数，求得 w 和 b：

$[w^*,b^*]=argmin~J(w,b)$

常见的参数求解方法

1、解析法

对函数求偏导，再令偏导数为0（但可能会遇到矩阵不可逆的情况）。

适合样本较少的情况

求线性回归的参数的解析法：

2、数值优化法（梯度下降法等）

利用梯度下降等方法迭代求解

适合样本数量较多的情况

批量与小批量算法

1、批量梯度下降法：使⽤全部训练样本估计梯度进⾏训练，计算量大

2、小批量梯度下降法：使⽤部分训练样本估计梯度进⾏训练

3、随机梯度下降法：每次从固定训练集中抽取⼀个训练样本估计梯度进⾏训练。

正则化（参数范数惩罚）

通过对⽬标代价函数 $J$ 添加⼀个参数范数惩罚，限制模型的学习能⼒。正则化后的总体代价函数为： $J^{$

Ω(w) 表示惩罚项

L1正则化（套索回归）：在代价函数中引入参数的一范数惩罚，

L2正则化（岭回归）：在代价函数中引入参数的二范数惩罚，