一、线性回归（Linear Regression）
线性回归一般用来做预测，预测数值型的目标值，基本思想是有一个目标值的公式，然后依据数据，得到预测的目标值。
例如：
其中，
称作回归系数，
是输入特征，y为目标预测值。我们的目标是找到合适的回归系数，求出回归方程。假定输入数据存放在矩阵x中，回归系数存放在向量w中。对于给定的数据
，预测结果将会通过
给出。我们的目的就是找出合适的w。最常用的方法是找出使误差最小的w值，误差是指与测试和真实值之间的平方误差。平方误差：
用矩阵形式表示可以写成
。如果对w求导得到
,令其等于0，得到w：
为当前可以估计出册w的最优解。注意，这里存在对矩阵求逆的操作，因此，只有在逆矩阵存在时才使用。然而，矩阵是可能不存在的，所有需要在代码中作出判断。
用线性回归找到最佳拟合直线：
import numpy as np
import matplotlib.pyplot as plt
def loadDataSet(fileName):
""" 对文件进行操作，将数据存储到列表中 """
numFeat = len(open(fileName).readline().split('\t')) - 1
dataMat = []
labelMat = []
fr = open(fileName)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split('\t')
for i in range(numFeat):
lineArr.append(float(curLine[i]))
dataMat.append(lineArr)
labelMat.append(float(curLine[-1]))
return dataMat, labelMat
def standReegres(xArr, yArr):
""" 运用解析法求w参数的值，使误差最小 """
xMat = np.mat(xArr)
yMat = np.mat(yArr).T
xTx = xMat.T * xMat # X的转置乘X
if np.linalg.det(xTx) == 0: # 判断行列式是否为0，为0则不能求逆
print("这个矩阵是奇异矩阵，不能求逆矩阵")
return
ws = xTx.I * (xMat.T * yMat) # 解析法求出误差最小的w
return ws
def plotPhoto(dataMat, labelMat, w):
xMat = np.mat(dataMat)
yMat = np.mat(labelMat)
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xMat[:,1].flatten().A[0], yMat.T[:,0].flatten().A[0])
xCopy = xMat.copy() # 复制一份数据
xCopy.sort(0) # 对数据进行排序
yHat = xCopy * w # 求出预测值
ax.plot(xCopy[:,1],yHat)
plt.show()
return yHat, yMat
dataMat, labelMat = loadDataSet('ex0.txt')
ws = standReegres(dataMat, labelMat)
plotPhoto(dataMat, labelMat, ws)
xMat = np.mat(dataMat)
yMat = np.mat(labelMat)
yHat = xMat * ws
result = np.corrcoef(yHat.T, labelMat)
print(result)[[ 1. 0.98647356]
[ 0.98647356 1. ]] 通过corrcoef函数来计算预测值和真实值的相关性，以此来评估模型yHat在真实值y序列的匹配程度。
二、局部加权线性回归（Locally Weighted Linear Regression，LWLR）
线性回归有一个问题就是容易出现过拟合现象，它求得是具有最小均方误差的无偏估计。这样会影响到一些预测效果。因此，我们可以在估计中引入一些偏差，从而降低均方误差。我们使用局部加权线性回归，给待预测点附近的每个点赋予一定的权重，然后在这个子集上基于最小均方差来进行普通的回归。这种方法，每次预测均需要选出对应的数据子集。
回归系数w的形式如下：
，其中，W是一个矩阵，用来给每个数据点赋予权重。LWLR使用“核”来对附近的点赋予更高的权重。核有很多种，最常用的仍然是高斯核。计算方法为：
，构建了一个只含对角元素的权重矩阵w。点x与x(i)越近，w(i,i)将会越大。参数k决定了对附近的点赋予多大的权重。
import numpy as np
import matplotlib.pyplot as plt
def loadDataSet(fileName):
""" 对文件进行操作，将数据存储到列表中 """
numFeat = len(open(fileName).readline().split('\t')) - 1
dataMat = []
labelMat = []
fr = open(fileName)
for line in fr.readlines():
lineArr = []
curLine = line.strip().split('\t')
for i in range(numFeat):
lineArr.append(float(curLine[i]))
dataMat.append(lineArr)
labelMat.append(float(curLine[-1]))
return dataMat, labelMat
def lwlr(testPoint, xArr, yArr, k=1.0):
xMat = np.mat(xArr)
yMat = np.mat(yArr).T
m = np.shape(xMat)[0]
weights = np.mat(np.eye(m)) # 创建对角矩阵
for j in range(m):
diffMat = testPoint - xMat[j, :]
weights[j, j] = np.exp(diffMat*diffMat.T/(-2.0*k**2))
xTx = xMat.T * (weights * xMat)
if np.linalg.det(xTx) == 0.0:
print("这是奇异矩阵，没有逆矩阵")
return
ws = xTx.I * (xMat.T * (weights * yMat)) # 解析法，求w
return testPoint * ws
def lwlrTest(testArr, xArr, yArr, k=1.0):
m = np.shape(testArr)[0]
yHat = np.zeros(m)
for i in range(m):
yHat[i] = lwlr(testArr[i], xArr, yArr, k)
return yHat
def plotPhoto(xArr, yArr, yHat):
xMat = np.mat(xArr)
srtInd = xMat[:, 1].argsort(0)
xSort = xMat[srtInd][:,0,:]
fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(xSort[:, 1], yHat[srtInd])
ax.scatter(xMat[:, 1].flatten().A[0], np.mat(yArr).T[:, 0].flatten().A[0], s=2, c='red')
plt.show()
xArr, yArr = loadDataSet('ex0.txt')
yHat1 = lwlrTest(xArr, xArr, yArr, 1.0)
plotPhoto(xArr, yArr, yHat1)
yHat2 = lwlrTest(xArr, xArr, yArr, 0.01)
plotPhoto(xArr, yArr, yHat2)
yHat3 = lwlrTest(xArr, xArr, yArr, 0.003)
plotPhoto(xArr, yArr, yHat3)
分别为k = 1、k = 0.01、k = 0.003的时候的拟合效果，从图中我们可以看到k=0.01是拟合最好的效果，k = 0.003考虑了太多的噪声，产生了过拟合的现象。
三、案例：预测鲍鱼的年龄
from Linear_Regression.LR import *
from Linear_Regression.LWLR import *
def resError(yArr, yHatArr):
return ((yArr - yHatArr) ** 2).sum()
abX, abY = loadDataSet('abalone.txt')
print("---------------------------------------------------")
print("abX[0:99]测试k在什么值时误差较小")
# 线性加权平均
yHat01 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 0.1)
yHat1 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 1)
yHat10 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 10)
err01 = resError(abY[0:99], yHat01.T)
print("k = 0.1 时的误差：", err01)
err1 = resError(abY[0:99], yHat1.T)
print("k = 1 时的误差：", err1)
err10 = resError(abY[0:99], yHat10.T)
print("k = 10 时的误差：", err10)
print("---------------------------------------------------")
print("abX[100:199]测试k在什么值时误差较小")
yHat01 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 0.1)
yHat1 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 1)
yHat10 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 10)
err01 = resError(abY[100:199], yHat01.T)
print("k = 0.1 时的误差：", err01)
err1 = resError(abY[100:199], yHat1.T)
print("k = 1 时的误差：", err1)
err10 = resError(abY[100:199], yHat10.T)
print("k = 10 时的误差：", err10)
print("---------------------------------------------------")
print("简单线性回归")
ws = standReegres(abX[0:99], abY[0:99])
yHat = np.mat(abX[100:199]) * ws
err = resError(abY[100:199], yHat.T.A)
print(err)---------------------------------------------------
abX[0:99]测试k在什么值时误差较小
k = 0.1 时的误差： 56.7842091184
k = 1 时的误差： 429.89056187
k = 10 时的误差： 549.118170883
---------------------------------------------------
abX[100:199]测试k在什么值时误差较小
k = 0.1 时的误差： 25119.4591112
k = 1 时的误差： 573.52614419
k = 10 时的误差： 517.571190538
---------------------------------------------------
简单线性回归
518.636315325
从结果我们可以看到在abX[0:99]数据上k=0.1时，误差较小，在abX[100:199]数据上时，k=10误差较小。简单线性回归与局部加权线性回归似乎有类似的效果，我们必须在位置的数据上比较才能选取做好的模型。我们可以选择不同的样本做多次测试比较结果。局部线性加权的缺点就是每次必须在每个数据集上运行。造成了大量的计算。
注：本笔记的资料来自《机器学习实战》这本书
