Coursera 机器学习 -- Linear Regression 笔记【第一周】

Linear regression(线性回归):

Model Representation(模型代表)

还是用卖房子来举例,

如房子的大小与价格图：

此例子属于监督学习，因为对于每个数据来说，我们给出了”正确的答案”,即平米数对应的房价.
同时它也是一个回归问题,回归一词指的是我们根据之前的数据预测出一个准确的输出值。

m=训练样本的数量
x=输入变量/特征值
y=输出变量/目标变量 (预测的结果)
(x,y) - one training example ：代表的是一个训练样本

(i):角标i代表的是第几个训练集
x^(i)=2104   i = 1
x^(i)=1416   i = 2
y^(i)=460    i = 1

通过这个图左侧，可以看到，我们把训练集喂给一个学习算法，然后输出一个函数h(x),这里h全拼hypothesis,中文是假设的意思,x(房子的大小)代表输入，y(价格)代表输出。

为了更形式化地描述监督学习问题，我们的目标是，在给定训练集的情况下，学习函数h：X→ Y，使得h（x）是y的相应值的“好”预测器。由于历史原因，这个函数h被称为假设。从形象上看，这个过程是这样的：
当我们试图预测的目标变量是连续的，例如在我们的卖房示例中，我们称学习问题为回归问题。当y只能接受少量离散值（例如，如果考虑到居住面积，我们想要预测一个住宅是房子还是公寓），我们称之为分类问题。

如何得到hypothesis函数？

如上图的右侧：
hθ(x) = θ0 + θ1X
函数可以简写为h(x)
这个模型是单变量线性回归只有一个X。根据x来预测所有价格函数。

Cost Function(代价函数)

这节课的目的是弄清楚如何把最有可能的直线与我们的数据相拟合！

如上图所示:
M=47，有47个训练模型
Hypothesis: hθ(x) = θ0 + θ1X
θi’s : Parmeters (模型参数)

我们要做的就是谈谈如何去选择不同的参数θ0和θ1？

吴恩达教授用了三组最简单的例子来解释说明，如下：

会一元二次方程的同学一看就明白，此处就不多做解释了。

上图左侧：
叉叉代表数据坐标，我们用一条直线尽可能的去拟合所有数据，于是画出来如左侧的一条直线，那么我们如何得到θ0和θ1 来使这条直线去很好的拟合数据呢？
上图左下方的想法：我们要选择θ0和θ1能使用h(x)输入x时我们预测的值最接近该样本对应的y的θ0和θ1。这个直线图可以看成平方米与房价的预测图，就是上一章的例子。

右侧：
最终函数目的是为了尽量减少假设的输出与房子真实价格之间的差的平方。
minimize θ0 θ1：求θ0和θ1的最小值：
从1到m(m是训练样本的个数)对每一项进行差的平方就和，前面的系数样本总数(m)的二分之一。
而我们最初的hθ(x) = θ0 + θ1X，所以可以写成图中右侧中间部分的公式，这样我们的问题就变成了找到使训练集中预测值和真实值的差的平方和的最小θ0，θ1，为了更明确一点，有了右侧下方的公式，将公式右侧的二分之一那堆公式转化为J(θ0，θ1)，此时J(θ0，θ1)称之为Cost Function，也就是常说的代价函数，同时也被称作平方误差函数(Squared error function)，有时也被称为平方误差代价函数(Mean squared error)，平方误差代价函数对于回归来说，是比较常用的解决函数！

最后再来个公式的高清图：

这里说下个人理解吧，costfunction的模型其实跟方差公式类似，方差公式：

每次的数据减去平均数的平方再去除以一共的数据数量，而线性回归的CostFuntion则是每次预测的数据减去真实的数据坐标，将每次的平方差求和最后再除以样本数的二分之一。百度说这个1/2其实是为了后续求导的方便，所以以数学的思维去定义的。

Cost Function - Intuition I

上图左侧显示:我们的假设函数,以及通过假设函数求得的代价函数关系式.
而右侧教授简化了Hypothesis函数，让θ0=0，经过简化后的代价函数就是右侧的式子，最终对于右侧的优化目标是将J(θ1)最小化。

上图左侧：假设我们的样本是(1,1),(2,2),(3,3)这是三个点的数据集，x代表房子平米数，y代表房价，那么假设我们的hypothesis函数：hθ(x) = θ1X,令θ1=1，此时hθ(x) = X，把hθ(x)带入到Cost Function中，最终得到的结果是J(θ1) = 0，也就是当θ1 = 1时,J(θ1) = 0，所以有了上图右侧的图，那么当θ1 = 0.5时呢？相比大家都会算了把。。

θ1 = 0.5时，如下图：

此处其实通过图中可以看到，就是上图左侧那段等高线之间的差平方相加

θ1 = 0时，如下图：

最终通过不断计算，可以得到J(θ1)的图：

线性回归的目标函数，不要忘记：找到一个θ1的值 来将J(θ1)最小化，从而达到与实际算法模型的最小误差。

Cost Function - Intuition II

还是这张图，很清晰的讲述了我们需要的目标，以及公式，参数

下图讲述的是一个三维图，水平轴一个是θ0，一个是θ1，高是J(θ0，θ1)

下图，右侧讲的是轮廓图(了解即可)，可以把轮廓图想成三维图的平面，而确实趋近中心，则J(θ0，θ1)越小.

总结

Linear Regression

单变量线性回归方程前半部分的笔记就先到这里，对监督学习的线性回归有了一个初步的认识，因为吴恩达教授讲的时候全部以最简化的例子去讲的，所以相对来说好理解一些。比如线性回归的代表模型，hypothesis的含义，以及Cost Funciton与其的关系。。单一变量的线性回归方程，最重要的目标函数就是要求出代价函数的最小值，所以后续会有一个算法(梯度下降)自动寻找最小值，专门为此而设计的。

展望结语

希望自己能坚持下去把。。今日打卡，滴滴滴！后续还有线性回归的梯度下降笔记！
　　　　　　　　　　　　　已经在奔往机器学习的路上——！