线性回归与分类, 解决与区别

翻译

mob604757006a49 2018-07-09 22:46:00

文章标签 数据拟合 .net 线性模型机器学习 文章分类 Python 后端开发

原址

机器学习可以解决很多问题，其中最为重要的两个是回归与分类。这两个问题怎么解决，它们之间又有什么区别呢？以下举几个简单的例子，以给大家一个概念

1. 线性回归

回归分析常用于分析两个变量X和Y 之间的关系。比如 X＝房子大小和 Y＝房价之间的关系， X=(公园人流量，公园门票票价）与 Y=(公园收入) 之间的关系等等。

那么你的数据点在图上可以这么看

现在你想找到房子大小和房价的关系，也就是一个函数f(x) = y. 能够很好的表示这两个变量之间的关系。

于是你需要大概评估一下这个房子大小和房价大概是一个什么关系.

是线性的关系吗? 还是非线性的关系?

当然在这个问题里面，线性的关系更符合这两者的关系。于是我们选择一个合适的线性模型, 最常用的是 f(x) = ax+b.

然后用这个线性的模型去匹配这些数据点。

1.1 怎么匹配?

有了数据点和你臆想出来的线性模型，怎么进行匹配，也就是怎么用这根线最好地描述些数据点的关系?

需要最好地描述点, 我们又需要一个关于“好”的定义。你也可以想出很多关于“好”的定义。下面有两个,这两个定义都是将模型与数据点之间的距离差之和做为衡量匹配好坏的标准。误差越小, 匹配程度越大。

但是总的来说，我们想要找到的模型，最后是想要使 f(x) 最大程度地与y相似，所以我们想要尽量地减少 f(x)与y之间的差值。所以在这里用第二个图的“好的定义” 来评估这根线的匹配程度是很合理的。于是我们有了误差公式!!!!!

这个公式，说的是，可以通过调整不同的a 和 b的值，就能使误差不断变化，而当你找到这个公式的最小值时，你就能得到最好的a,b. 而这对(a,b)就是能最好描述你数据关系的模型参数。

1.1.1 沿导数下降法(Gradient Descent)

怎么找 cost(a,b)的最小? cost(a,b) 的图像其实像一个碗一样，有一个最低点。找这个最低点的办法就是，先随便找一个点(e.g. a=3, b = 2), 然后沿着这个碗下降的方向找，最后就能找到碗的最低点。

cost(a,b) 的形状

怎么找(某一点)碗下降的方向?? 答案是，找那一点导数的反方向。拿参数a 举个例子, a与cost 关系如下图,

只要将任意一个a, 沿着使cost 导数的反方向慢慢移动，那么最终有一天a值就会到达使 cost 最小的那一点. 于是你可以不断地移动a,b, 向着最低点前进。

当然在进行移动的时候也需要考虑，每次移动的速度，也就是\Alpha的值，这个值也叫做（学习率）. 学习率的增大可以加速参数逼近最优的情况，但是如果在快要到达函数的底端的时候，需要减小学习率，以免出现cost 不断增大或者不停摆动的情况(如下图, J(a,b)就是cost(a,b) )。所以说，当出现以上两种情况时候，我们应该果断选取一个较小的学习率，以保证cost能减少到一个稳定的值(我们称为收敛converge).

1.1.2 直接求解最小点方法

这时候，有的人会问，为什么要让a不停地往下跑呢？而且还需要设定学习率，多麻烦，直接让找导数为0点(最小极值)，不就可以了吗? 嗯。。。也可以...但是各有优缺，

具体方法和优劣分析可见Rachel-Zhang 的博客: javascript:void(0)

总结一下：回归问题的解决方法是:

1. 假定一个模型 2. 定义什么叫做最好的匹配(构造误差函数) 3. 用这个模型去匹配已有的数据点(训练集)

需要进一步讨论的问题:

如果参数(a,b)更多了该怎么办?
如果最合适的匹配模型并不是线性的怎么办? －－－选用一个非线性模型比如 y = ax^2 + bx + c.
如果误差(cost)与a,b（模型参数）的关系不是像碗一样的, 而是凹凸不平的该怎么办? ------ 这时候你就得注意你得到的cost的最低点(局部的最低)可能因初始点的不同而不同。而这些最低点你需要进行比较，以确定是不是全局的最低

2.分类(Logistic regression)

分类问题也是一类很常见的问题。比如说，怎么判定一个人是高富帅还是吊丝? 假如我是中央电视台的记者，采访了N个人, 拿到了第一手资料。资料如下

我们想要根据一个人的口袋钱数量，来预测一个人是(富帅) 还是（吊丝）. 我们能不能用回归的方法做呢? 显然是可以的，我们只要找到一个模型，然后再进行匹配就可以了。

但是因为分类问题的y值常常是一些离散的数字，(比如，富帅为1, 吊丝为0)，所以我们已经不能用一个简单的线性函数来拟合这些数据了。我们需要一个更逼真的模型。

于是我们引入了一个更适合处理分类问题的函数--- 一个非线性函数，阶跃函数。

线性回归与分类, 解决与区别_线性模型

这个函数的形状更像我们分类问题的数据分布，所以，用他来拟合分类问题的数据将更适合！

所以我们有了一个新的模型,

线性回归与分类, 解决与区别_.net_02

通过调整a,b 的值，可以让模型不断改变以匹配数据点。为了匹配数据点，我们又需要一个衡量匹配程度的函数，就像回归问题一样的cost 函数. 于是同理我们可以得到cost

线性回归与分类, 解决与区别_.net_03

于是我们急切地想要把它用我们之前的gradient descent 的方法求解出使cost 最小的两个a,b值。但是很遗憾的是，这个cost函数关于a,b,是非凸(non-convex)的。就像下面那张图那样坑坑洼洼。。。

线性回归与分类, 解决与区别_.net_04

所以你没有办法通过以上两种方法(1.1.1和1.1.2)求出这个cost函数的全局最小值。

所以你需要构造一个更好的cost函数，在可以衡量拟合程度的同时又是一个关于a,b 的凸函数(像回归问题的cost一样，和一个碗一样，只有一个极小值).

这怎么构造啊....

幸好我们还有各种伟大的数学家，他们夜以继日，终于赶制出了一个形状和碗一样(convex)的cost函数. (Maximum Likelihoods Estimation 更具体的介绍请看http://www.holehouse.org/mlclass/06_Logistic_Regression.html )

线性回归与分类, 解决与区别_机器学习_05

现在我们又可以用我们熟悉的导数方向下降法(gradient descent) 移动a, b的值，使cost 降低到最小。

线性回归与分类, 解决与区别_线性模型_06

线性回归与分类, 解决与区别_线性模型_07

最后，分类的问题就这样被解决了。

当然，更复杂的问题可能有:

现在是分成两类，如果数据需要分成三类或者更多该怎么办? ---- 假如有A,B,C三类，把其中A类做为1，BC做为0,然后做Logistic regression, 得到模型a, 同理将B类做为1,AC作为0,得到模型b, 再同理得到模型c. 最后测试的时候，对任意一个数据点x, 我们能够得到x分别属于A,B,C三类的概率值

线性回归与分类, 解决与区别_线性模型_08