通俗描述
线性回归模型是利用线性函数对一个或多个自变量和因变量（y）之间关系进行拟合的模型。
该模型基于两个定律：
大数定律：在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。
中心极限定理：一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。
公式推导
数据输入
基本概念
【1】 线性 = 直线？
线性函数的定义是：一阶或零阶多项式。特征是一维时，线性模型在二维空间构成一条直线；特征是二维时，线性模型在三维空间中构成一个平面；特征是三维时，则最终模型在四维空间中构成一个体；以此类推…
【2】最小二乘法
在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离最小之后最小。
【3】最大似然估计
一种重要而普遍的求估计量的方法。通过调整估计参数，使得已经实现的样本发生概率最大。
【4】梯度下降法
从任意点开始，在该点对目标函数求导，沿着导数方向（梯度）“走”（下降）一个给定步长，如此循环迭代，直至“走”到导数为0的位置，则达到极小值。
【5】凸函数
对区间[a,b]上定义的函数f，若它对区间上任意两点x1,x2均有
则称f是区间[a,b]上的凸函数。
对实数集上的函数，可以通过二阶导数来判别：若二阶导数在区间上非负，则称为凸函数；若二阶导数在区间上恒大于0，则称为严格凸函数。
【6】线性回归模型评价标准
回归评价指标 MSE(均方误差)、RMSE(均方根误差)、MAE(平均绝对误差)、R-Squared(R^2)
【7】L1和L2范数
机器学习中正则化项L1和L2的直观理解
机器学习中的范数规则化-L0,L1和L2范式
算法实践
算法实践_线性回归
总结
优点：实现简单，计算简单
缺点：不能很好地拟合非线性数据
应用场景：线性回归简单、易于使用，但是现实生活中数据的特征和目标之间并不是简单的线性组合，所以并不能很好的解决具体问题。所以线性回归常用于数据特征稀疏，并且数据过大的问题中，可以通过线性回归进行特征筛选。在比赛中也可以用线性回归做一个Baseline。
问题
线性回归可以进行分类么
线性回归可以做特征选择么
线性回归、Ridge回归（L2范式）、Lasso 回归（L1范式）的区别和适用条件
最小二乘法的算法复杂度怎么分析
线性回归能处理非线性数据么
