单变量线性回归模型单变量回归分析

转载

mob64ca1402a190 2024-04-04 09:38:42

文章标签 单变量线性回归模型数据最小二乘法梯度下降法 文章分类 机器学习人工智能

简单线性回归（单变量实现）
1.自动生成数据：
　这里我们使用make_regression生成回归模型数据。几个关键参数有n_samples（生成样本数）， n_features（样本特征数），noise（样本随机噪音）和coef（是否返回回归系数）。例子代码如下：

import numpy as np
import matplotlib.pyplot as plt
#%matplotlib inline
from sklearn.datasets.samples_generator import make_regression
# X为样本特征，y为样本输出， coef为回归系数，共10个样本，每个样本1个特征
X, y, coef =make_regression(n_samples=10, n_features=1,noise=10, coef=True)
# 画图
plt.scatter(X, y,  color='black')
plt.plot(X, X*coef, color='blue',
         linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()

显示如下：

单变量线性回归模型单变量回归分析_数据

自动生成效果图如上，自动生成相关数据，并且画出回归方程。2.算术法求解

算术法即为：最小二乘法，梯度下降法

最小二乘法：最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。

梯度下降法：

单变量线性回归模型单变量回归分析_最小二乘法_02

这个代价函数是 x(i) 的估计值与真实值 y(i) 的差的平方和，前面乘上 1/2，是因为在求导的时候，这个系数就不见了。

最小二乘法算法：

import numpy as np
def fitslr(x,y):
    n=len(x)
    dinominator=0
    numerator=0
    for i in range (0,n):
        numerator +=(x[i]-np.mean(x))*(y[i]-np.mean(y))
        dinominator+= (x[i]-np.mean(x))**2
    print("numerator",numerator)
    print("dinominator",dinominator)
    b1=numerator/float(dinominator)
    b0=np.mean(y)/float(np.mean(x))
    print(b1)
    print(b0)
    return b0,b1
def predict(x,b0,b1):
    return b0+x*b1

x=[1,3,2,1,3]
y=[14,24,18,17,27]
b0,b1=fitslr(x,y)

x_text=6
y_text=predict(6,b0,b1)
print("x_text",y_text)

梯度下降法算法：

import numpy as np
import random


def gradient_descent(alpha, x, y, ep=0.0001, max_iter=10000):
    converged = False
    iter = 0
    m = x.shape[0]  # 数据的行数

    # 初始化参数(theta)
    t0 = np.random.random(x.shape[1])
    t1 = np.random.random(x.shape[1])

    # 代价函数, J(theta)
    J = sum([(t0 + t1 * x[i] - y[i]) ** 2 for i in range(m)])

    # 进行迭代
    while not converged:
        # 计算训练集中每一行数据的梯度 (d/d_theta j(theta))
        grad0 = 1.0 / m * sum([(t0 + t1 * x[i] - y[i]) for i in range(m)])
        grad1 = 1.0 / m * sum([(t0 + t1 * x[i] - y[i]) * x[i] for i in range(m)])

        # 更新参数 theta
        # 此处注意，参数要同时进行更新，所以要建立临时变量来传值
        temp0 = t0 - alpha * grad0
        temp1 = t1 - alpha * grad1
        t0 = temp0
        t1 = temp1

        # 均方误差 (MSE)
        e = sum([(t0 + t1 * x[i] - y[i]) ** 2 for i in range(m)])

        if abs(J - e) <= ep:
            print('Converged, iterations: ', iter, '!!!')
            converged = True

        J = e  # 更新误差值
        iter += 1  # 更新迭代次数

        if iter == max_iter:
            print('Max interactions exceeded!')
            converged = True

    return t0, t1

3.向量法求解（直接调用函数法）
1.最小二乘法：

from sklearn.linear_model import LinearRegression
import numpy as np
x = np.array([1,3,2,1,3])
y = np.array([14,24,18,17,27])
# 定义线性回归模型
model = LinearRegression()
model.fit(x.reshape(len(x),1), y) # 训练, reshape 操作把数据处理成 fit 能接受的形状
print(model.coef_)
print(model.intercept_)

2.梯度下降法：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt


dataset = pd.read_csv('Salary_Data.csv')
X = dataset.iloc[:,0].values
Y = dataset.iloc[:,-1].values

#将数据分成训练集和测试集，训练集用于训练模型，测试集用于测试训练的模型的效果
X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_size = 0.3,random_state = 0)
X_train = X_train.reshape(-1,1)
Y_train = Y_train.reshape(-1,1)

regresor = LinearRegression()
regresor.fit(X_train,Y_train)
#根据模型得出的对应训练集的预测Y值
predict = regresor.predict(X_train.reshape(-1,1))

plt.figure(figsize=(10,12)) #设置画布大小
figure = plt.subplot(211)  #将画布分成2行1列，当前位于第一块子画板

plt.scatter(X_train, Y_train,color = 'red')  #描出训练集对应点
plt.plot(X_train,predict,color='black')  #画出预测的模型图
plt.xlabel('YearsExperience')
plt.ylabel('Salary')
plt.title('Train set')

#将模型应用于测试集，检验拟合结果
plt.subplot(212)
plt.scatter(X_test, Y_test,color = 'red')
plt.plot(X_train,predict,color='black')
plt.xlabel('YearsExperience')
plt.ylabel('Salary')
plt.title('Test set')

4.算术法与向量法比较
Sklearn 是基于Python的机器学习工具模块。里面主要包含了6大模块：分类、回归、聚类、降维、模型选择、预处理。根据Sklearn 官方文档资料，下面将各个模块中常用的模型函数总结出来。、

回归及分类（监督学习）
1.1 广义线性模型 (fromsklearn import linear_model)
最小二乘法：拟合一个线性模型, 使得数据集实际观测数据和预测数据（估计值）之间残差平方和最小。
clf=linear_model.LinearRegression(), clf.fit(X,y)
岭回归：改良的最小二乘，解决共线问题。
clf=linear_model.Ridge(alpha=0.5)，clf.fit(X,y)
逻辑回归：
clf=linear_model.LogisticRegression()
1.2 朴素贝叶斯
高斯模型: from sklearn.naive_bayes import GassianNB
Gnb=GassianNB(),gnb.fit(data, target).predict(data)
多项式模型：MultinomialNB
伯努利模型：会把输入数据二元化BernoulliNB
1.3 决策树 from sklearn import tree
决策树分类器：clf=tree.DecisionTreeClassifier()
回归分类器（y 值为float非int）：
clf=tree. DecisionTreeRegressor()
1.4 支持向量机
from sklearn import svm
clf=svm.SVC()2. 聚类
K-means:
from sklearn.cluster import KMeans
kmeans= KMeans(n_clusters=2, random_state=0).fit(X)
降维
PCA:
From sklearn.decomposition import PCA
pca = PCA(n_components=2)
method:
fit(X[y])
get_covariance()
get_params([deep])
get_precision()
score(X[y])
特征选择
树特征：
From sklearn.ensemble import ExtraTreesClassifier5 .数据预处理
From sklearn import preprocessing
标准化：preprocessing.scale(x)
规范化：preprocessing.normalize()
二值化: preprocessing.Binarizer()
处理缺失值：fromsklearn.preprocessing import Imputer
imp=Imputer(missing_values=‘NaN’,strategy=‘mean’,axis=0)