机器学习_最小二乘法，线性回归与逻辑回归

原创

xieyan0811 2022-09-16 14:42:54 博主文章分类：机器学习 ©著作权

文章标签 线性回归逻辑回归最小二乘最小二乘法逻辑值 文章分类 机器学习人工智能

©著作权归作者所有：来自51CTO博客作者xieyan0811的原创作品，请联系作者获取转载授权，否则将追究法律责任

1. 线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。
直观地说，在二维情况下，已知一些点的X,Y坐标，统计条件X与结果Y的关系，画一条直线，让直线离所有点都尽量地近（距离之和最小），用直线抽象地表达这些点，然后对新的X预测新的Ｙ。具体实现一般使用最小二乘法。

机器学习_最小二乘法，线性回归与逻辑回归_最小二乘法

线性回归

线性回归的优点是理解和计算都相对简单，缺点是无法解决非线性问题。

2. 最小二乘法

1) 原理

最小二乘法（ordinary least squares，简称OLS）的核心就是保证所有数据偏差的平方和最小（“平方”的在古时侯的称谓为“二乘”）。
如果有一个变量，我们用直线拟合一些点，直线方是y’=ax+b，每点偏差是y-y’，其中y是实际值，y’是估计值。sum((y-y’)^{2)最小时，直线拟合最好。上试代入y’，可得M=sum((y-(ax+b))}2)，对它求导取极值。此时，x,y是已知的，未知的是a和b，所以分别求M对a和b的偏导，解出的a,b即回归系数，记作W。线性回归就是计算参数W的过程。有了Ｗ，就能将Ｙ表示成多属性的加权线性组合。
假设有两个变量(多元回归)y’=w0+w1x1+w2x2，就变成了一个三维的问题，同样也用误差平方最小的方法M=sum((y’-(w0+w1x1+w2x2))^2)，Ｍ对w0,w1,w2的偏导为0处是极值，然后解出w0,w1,w2。更多元的情况见下面的公式推导。
预测时，用回归系数乘以输入值，再将结果加在一起就得到了预测值，一般用矩阵乘法实现。

2) 公式推导

通过矩阵运算求解回归系数的W={w0,w1,w2…}

机器学习_最小二乘法，线性回归与逻辑回归_最小二乘_02

3. 线性回归代码实现

# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt

# 训练
def standRegres(xArr,yArr):  
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1，为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    yMat = np.mat(yArr).T  
    xTx = xMat.T*xMat  
    if np.linalg.det(xTx) == 0.0:  
        print("This matrix is sigular, cannot do inverse") #行列式的值为0，无逆矩阵
        return  
    ws = xTx.I*(xMat.T*yMat)  
    return ws  

# 预测
def predict(xArr, ws):
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1, 为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    return xMat*ws

if __name__ == '__main__':
    x = [[1], [2], [3], [4]]
    y = [4.1, 5.9, 8.1, 10.1]
    ws = standRegres(x,y)
    print(ws)
    print(predict([[5]], ws))

    # 画图
    plt.scatter(x, y, s=20)
    yHat = predict(x, ws)
    plt.plot(x, yHat, linewidth=2.0, color='red') 
    plt.show()