回归模型 归一化 回归模型的步骤

机器学习三步骤：
1.选择合适的模型 2.模型评估（损失函数） 3.最佳模型（梯度下降）

回归模型（监督学习）

• 线性回归模型

• 一元线性回归
• 多元线性回归

• 非线性回归模型
• 最小二乘法

1. 定义

• 线性回归：给定数据集D=${\{(x_1,y_1),(2_2,y_2),...,(x_m,y_m)}\}$,其中${x_i = (x_{i2};...;x_{id}),y_i \in R}$.“线性回归”(linear regression) 试图学得一个线性模型以尽可能准确地预测实值输出标记。
• 线性回归是一种线性模型，它假设输入变量x和单个输出变量y之间存在线性关系。
  形如:${y = ax+b}$ 一元线性回归
  多元线性回归：多个变量组成的集合，形如，${f(x) = w_1x_1 + w_2x_2+...+w_dx_d+b}$

2. 补充涉及的数学知识

• 多元函数：设D为一个非空的n元有序数组的集合，f为某一确定的对应规则。${（x_1,x_2,...,x_n）\in D}$ 若对于每一个有序数组，通过f都有唯一确定的实数y与之对应，则称对应规则f为定义在D上的n元函数，记为${y = f(x_1,x_2,...,x_n)}$
• 二元函数：设D是二维空间的一个非空子集，称映射f： D -> R为定义在D上的二元函数，记为${z = f(x,y),(x,y) \in D 或z=f(p),p\in D}$

3. 线性回归模型
   给定有d个属性（特征）描述的示例${x = (x_1;x_2;...,x_d)}$，其中${x_i}$是x在第i个属性（特征）上的取值，线性模型试图学得一个通过属性（特征）的线性组合来进行预测的函数。（假设函数）
   即：${f(x) = w_1x_1 + w_2x_2+...+w_dx_d+b}$
   一般是用向量表示（向量默认是竖着的），写成：
   ${f(x) = w^Tx+b}$ ，其中${w = (w_1;w_2;...;w_d)}$ 转置变为横向量了。
   那么横向量*竖向量=数值，本质是向量的内积。
   把w和b学得以后，模型就得以确定了。
4. 最小二乘法
   基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(Least square method). 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。即，真实值与预测值的差值。
5. 损失函数是对单个训练集的，成本函数是所有训练集损失函数的平均数。