一、线性回归
1.概念
对于一组特征，使用线性方程来进行拟合，对结果进行预测，公式如下：
2.代价函数
线性回归选取的损失函数是均方误差，均方误差表示所有样本到该预测函数的欧式距离最小，代价函数如下：
对每一个θ进行求导，便可以求取θ的值：
更新：
，其中α为学习率
3.如何选取α，如何停止更新权值
a.通常α取0.001，根据实验结果依次增加三倍，比较实验结果。0.001，0.003，0.01，0.03，0.1
b.θ更新到什么时候停止？每次更新后，带入θ值可以求得J(θ)的值，比较当前的J(θ)与上一次的值，如果变化很小，则可认为达到收敛；或者不断增加迭代次数，可视化观察J(θ)的曲线图。
4.正则化
使用L1范数（权值为非0的权值和）称为Lasso回归，使用L2范数（权值平方和）称为岭回归。正则化项称为惩罚函数，目的解决过拟合问题，代价函数变为：
这里使用的是L2范数，J(θ)称为岭回归
二、逻辑回归
1.概念
逻辑回归由线性回归转变而来，线性回归用来预测具体的值，如果遇到分类问题如何解决呢？这里还是使用线性回归来拟合数据，然后再对其预测值进行0 1 映射（使用sigmod函数），因此得到的逻辑回归模型为：
sigmod函数就是形式S形状的函数，存在上限、下限
2.代价函数
这里可以均方误差作为代价函数，但是图像非凸函数，使用梯度下降很难求得其收敛值，因此这里借助于极大似然估计的概念来设计逻辑回归的代价函数：
对于二分类：
X | 0 | 1 |
概率 | 1-p | p |
似然函数：
对数形式：
对于逻辑回归本身求得就是偏向某类的概率hθ(x)：
逻辑回归似然函数：
对数形式：
这里求得极大似然估计，前面取符号，即可求得满足代价函数的最小值，于是得到逻辑回归的代价函数如下：
1/m不影响函数的功能。
故求得对θ的偏导为：
3.正则化
与线性回归相似，正则化可以使用L1范数、L2范数，这里使用L2范数得到的代价函数为：
4.使用梯度下降求θ值
三、总结
至此，已经了解掌握了线性回归、逻辑回归的性质、代价函数的来由，推导，虽然本文并未写出详细步骤，但关键性步骤的推导已经指明，新手可以先简要查阅相关文献资料，简要了解线性回归与逻辑回归，便可非常了解两种回归。学习多遍，其义自见。
