回归 预测值normalizer 回归预测值的符号

文章目录

• 前言
• 一、线性回归的概念
• 二、线性回归中常用的符号
• 三、线性回归的算法流程
• 四、线性回归的最小二乘法(LSM)
• 五、 总结

---

前言

---

一、线性回归的概念

线性回归（Linear Regression）：是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。如下图所示，在一堆看似毫无规则的数据中去找到一条直线来拟合（表示）这些数据的规律。

二、线性回归中常用的符号

---

1、𝑚：代表训练集中样本的数量
2、𝑛 ：代表特征的数量
3、𝑥 ：代表特征/输入变量
4、𝑦 ：代表目标变量/输出变量
5、𝑥, 𝑦： 代表训练集中的样本
6、($x^{^{i}}$, $y^{^{i}}$)： 代表第𝑖个观察样本，而$x^{^{i}}$是特征矩阵中的第𝑖行，是一个向量,，例如$x^{^{2}}$就代表下图中第二行中的数据(162.2 31 8 118)，而$y^{^{2}}$就代表下图中的37000，而$x_{j}^{(i)}$代表特征矩阵中第 𝑖 行的第 𝑗 个特征，例如$x_{2}^{(2)}$=31
7、ℎ (hypothesis) ：代表学习算法的解决方案或函数也称为假设，大家也可以认为这就是一个函数(既y=ax+b)这种。

三、线性回归的算法流程

---

1. $x$和$y$的关系表达式：ℎ(𝑥) =
   $w_{0}x_{0}+w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}$=$w^{T}x$，$x_{0}$可默认为1，$w_{0}$实际为常数$b$，这样写的好处是方便做矩阵运算。
2. 损失函数(Loss Function)是度量单样本预测的错误程度，损失函数值越小，模型就越好。常用的损失函数包括：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数等。一般我们采用平方和损失函数，公式如下：$l(x^{(i)})=\frac{1}{2}(h(x^{(i)})-y^{(i)})^{2}$，要求最小值的话在这我们要找到一组$w(w_{0},w_{1},w_{2}...w_{n})$值使得$J(w)=\frac{1}{2}\sum_{i=1}^{m}(h(x^{(i)})-y^{(i)})^{2}$（残差平方和）最小，因此我们需要对$J(w)$求导求最值,即$\frac{\partial J(w)}{\partial (w)}$。
   损失函数的系数1/2是为了便于计算，使对平方项求导后的常数系数为1，这样在形式上稍微简单一些。有些教科书把系数设为1/2，有些设置为1，这些都不影响结果。
3. 代价函数(Cost Function)度量全部样本集的平均误差。常用的代价函数包括均方误差、均方根误差、平均绝对误差等。
4. 目标函数(Object Function)代价函数和正则化函数，最终要优化的函数。

四、线性回归的最小二乘法(LSM)

---

将向量表达形式转为矩阵表达形式，则有𝐽(𝑤) =$\frac{1}{2}(xw-y)^{2}$，其中$x$为𝑚行𝑛 + 1
列的矩阵（𝑚为样本个数，𝑛为特征个数），𝑤为𝑛 + 1行1列的矩阵(包含了$w_{0}$)，$y$ 为𝑚行1列的矩阵，则𝐽(𝑤) =$\frac{1}{2}(xw-y)^{2}$=$\frac{1}{2}(xw-y)^{T}(xw-y)$。为求最下值，接下对$J(w)$求偏导。

$\frac{\partial J(w)}{\partial w}=\frac{1}{2}\frac{\partial }{\partial w}(xw-y)^{2}=\frac{1}{2}\frac{\partial }{\partial w}(xw-y)^{T}(xw-y)=\frac{1}{2}\frac{\partial }{\partial w}(w^{T}x^{T}xw-y^{T}xw-w^{T}x^{T}y+y^{T}y)$
因为中间两项互为转置，所以$J(w)$=$\frac{1}{2}(2x^{T}xw-2x^{T}y+0)=x^{T}xw-x^{T}y$，令$\frac{\partial J(w)}{\partial w}$=0，则有$w=(x^{T}x)^{-1}x^{T}y$。
在这我们补充几个矩阵的求导法则：
$\frac{dx^{T}x}{dx}=2x$、$\frac{dax}{dx}=a^{T}$、$\frac{dx^{T}ax}{dx}=(a+a^{T})x，若a是对称阵，则\frac{dx^{T}ax}{dx}=2ax$

五、 总结

本人也才刚刚开始学习，请大家多多包涵。大家在学习机器学习之前可以先学习下线性代数