一、普通线性回归
原理：分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。
应当怎样从一大堆数据里求出回归方程呢？
假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过
Y=X*W
给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？
一个常用的方法就是找出使误差最小的W。这里的误差是指预测Y值和真实Y值之间的差值，使用该误差的简单累加将使得正差值和负差值相互抵消，所以我 们采用平方误差。
实例步骤
1. 导入库函数：from sklearn.linear_model import LinearRegression
import sklearn.datasets as datasets
import numpy as np
2.引入糖尿病数据 : data = datasets.load_diabetes()
3. 抽取特征和标签:dia_data = data.data
target = data.target
dia_data.shape,target.shape
4.创建算法模型:lgr = LinearRegression()
5.对数据进行切分：from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(dia_data,target,test_size=0.1)
6.对数据进行训练: lgr.fit(x_train,y_train)
7.预测：lgr.predict(x_test[::4]) 注：这里对测试数据每隔4个取一次 同理y_test[::4] 8.对数据进行评测：lgr.score(x_test,y_test)
二、岭回归
1、原理：如果数据的特征比样本点还多应该怎么办？是否还可以使用线性回归和之前的方法来做预测？
答案是否定的，即不能再使用前面介绍的方法。这是因为输入数据的矩阵X不是满秩矩阵。非满秩矩阵在求逆时会出现问题。
为了解决这个问题，统计学家引入了岭回归（ridge regression)的概念
【注意】在岭回归里面，决定回归模型性能的除了数据算法以外，还有一个缩减值lambda*I 岭回归是加了二阶正则项(lambda*I)的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。
归纳总结
1.岭回归可以解决特征数量比样本量多的问题
2.岭回归作为一种缩减算法可以判断哪些特征重要或者不重要，有点类似于降维的效果
3.缩减算法可以看作是对一个模型增加偏差的同时减少方差
岭回归用于处理下面两类问题：
1.数据点少于变量个数
2.变量间存在共线性（最小二乘回归得到的系数不稳定，方差很大）实例步骤（岭回归一般用在样本值不够的时候）：
1.导入库：from sklearn.linear_model import Ridge
2.构建训练数据：x_train = np.array([[1,1,2,2,3],[1,2,3,4,5],[2,3,4,1,2],[1,2,4,2,6]])
y_train = np.array([1,2,3,4])
3.构件普通线性回归对象：lgr = LinearRegression()
4.训练数据：lgr.fit(x_train,y_train)
5.构建测试数据并预测：x_test = [[1,4,3,2,5]]
lgr.predict(x_test)
6.构建岭回归对象：ridge = Ridge(alpha=10000)
7.训练数据：ridge.fit(x_train,y_train)
8.预测数据：ridge.predict(x_test)
9.查看回归系数：rigde.coef_
10.如何决定alpha值：x_train = 1/(np.arange(1,11) + np.arange(0,10).reshape((10,1)))
11. y_train = np.ones(10)
y_train
alphas = np.logspace(-10,-2,200)
alphas
12. 对于每一个alpha值的情况分别做一次训练，得出其中的回归系数
w = [] # 存储回归系数
ridge = Ridge(fit_intercept=False)
for a in alphas:
ridge.set_params(alpha=a)
ridge.fit(x_train,y_train)
w.append(rigde.coef_)
w
13. 对不同的alpha对应的回归系数，用图表来表示出来：
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure(figsize=(12,9))
axes = plt.subplot(111)
axes.plot(alphas,w)
axes.set_xscale("log")
14.从10^(-2)开始到10^5再去画一次岭迹线
alphas = np.logspace(-2,5,200)
w = [] # 存储回归系数
rigde = Ridge(fit_intercept=False)
for a in alphas:
rigde.set_params(alpha=a)
rigde.fit(x_train,y_train)
w.append(rigde.coef_)
w
plt.figure(figsize=(12,9))
axes = plt.subplot(111)
axes.plot(alphas,w) axes.set_xscale("log")
三.lasso回归
实例：普通线性回归、岭回归与lasso回归比较
1.导入包：from sklearn.linear_model import LinearRegression,Ridge,Lasso
2.使用numpy创建数据X，创建系数，对系数进行处理，对部分系数进行归零化操作，然后根据系数进行矩阵操作求得目标值
增加噪声:
x_train = np.random.randn(50,200)
x_train
3. 创建一些回归系数：
coef = np.random.randn(200)
coef
随机把回归系数中的190个设置为0
index = np.arange(200)
np.random.shuffle(index)
coef[index[:190]] = 0
coef
y_train = np.dot(x_train,coef)
y_train
4. 对以上创建好的符合现行回归数据，加一些噪声
y_train += 0.01*np.random.normal(200)
y_train
5.训练与测试数据：
x_train,x_test,y_train,y_test = train_test_split(x_train,y_train,test_size=0.3)
6.分别使用线性回归，岭回归，Lasso回归进行数据预测:
lgr = LinearRegression()
lgr.fit(x_train,y_train)
lgr.score(x_test,y_test)
7.创建对象：rg = Ridge(0.01)
rg.fit(x_train,y_train)
rg.score(x_test,y_test)
8.创建Lasso对象：ls = Lasso(0.01)
ls.fit(x_train,y_train)
ls.score(x_test,y_test)
9.数据视图，此处获取各个算法的训练数据的coef_:系数
plt.figure(figsize=(12,9))
axes1 = plt.subplot(221)
axes1.plot(coef)
axes1.set_title("True")
axes2 = plt.subplot(222)
axes2.plot(lgr.coef_)
axes2.set_title("linear")
axes3 = plt.subplot(223)
axes3.plot(rg.coef_)
axes3.set_title("rigde")
axes4 = plt.subplot(224)
axes4.plot(ls.coef_)
axes4.set_title("Lasso")
