回归算法及应用实践
- 1 相关与回归
- 1.1 有监督的机器学习过程
- 1.2 分类与回归
- 1.3 一个简单的案例
- 1.4 回归分析与相关分析
- 1.5 相关分析
- 2 一元线性回归和最小二乘法
- 2.1 回归问题
- 2.2 一元线性回归
- 2.3 最小二乘法
- 2.4 实战 可支配收入与销售量
- 2.4.1 为什么要用reshape(-1,1) ?
- 2.4.2 本节完整代码
- 3 多元回归与梯度下降
- 3.1 简单例子
- 3.2 多元线性回归
- 3.3 梯度下降法
- 3.4 学习率
- 3.5 梯度下降法 求解2.4例子:取暖费
- 4 回归算法及应用 完整代码
1 相关与回归
1.1 有监督的机器学习过程
1.2 分类与回归
1.3 一个简单的案例
1.4 回归分析与相关分析
1.5 相关分析
1.6 实例
import numpy as np
import pandas as pd
investment = [20,40,20,30,10,10,20,20,20,30]
production = [30,60,40,60,30,40,40,50,30,70]
df = pd.DataFrame({'investment':np.array(investment),'production':np.array(production)})
print(df)
print(df.corr())
字母u是指 unicode
A = [250,360,165,43,92,200,355,290,230,120,73,205,400,320,72,272,94,190,235,139]
B = [35,29,36,60,65,30,10,70,21,55,54,48,20,39,60,20,58,40,27,30]
C = [3,4,7,6,5,5,6,10,9,2,12,5,5,4,8,5,7,8,9,7]
D = [6,10,3,9,6,5,7,10,11,5,4,1,15,7,6,8,3,11,8,5]
df = pd.DataFrame({'取暖费':np.array(A),'温度':np.array(B),'厚度':np.array(C),'年份':np.array(D)})
print(df)
print(df.corr()) # ABCD全部之间的相互和关系
print(df.corr()[u'温度'])# 温度和ABCD之间的关系
print(df[u'取暖费'].corr(df[u'温度'])) #取暖的费和温度之间的关系
2 一元线性回归和最小二乘法
2.1 回归问题
2.2 一元线性回归
2.3 最小二乘法
2.4 实战 可支配收入与销售量
X = [522,539,577,613,644,670,695,713,741,769,801,855,842,860,890,920]
Y = [6700,7136,7658,7784,8108,7583,8002,8442,8158,8683,9317,9675,8542,8584,9612,9719]
x = np.array(X).reshape(-1,1)#reshape(行数,列数)常用来更改数据的行列数目,reshape(-1,1)表示(任意行,1列)
y = np.array(Y).reshape(-1,1)# reshape(-1,1)表示(任意行,1列) reshape(1,-1)表示(1行,任意列)
# 相关性 案例三
X = [522,539,577,613,644,670,695,713,741,769,801,855,842,860,890,920]
Y = [6700,7136,7658,7784,8108,7583,8002,8442,8158,8683,9317,9675,8542,8584,9612,9719]
x = np.array(X).reshape(-1,1)#reshape(行数,列数)常用来更改数据的行列数目,reshape(-1,1)表示(任意行,1列)
y = np.array(Y).reshape(-1,1)# reshape(-1,1)表示(任意行,1列) reshape(1,-1)表示(1行,任意列)
model = linear_model.LinearRegression() #线性回归函数
model.fit(x,y) # fit函数主要用来计算一组数据的特征值,用于训练
print(model.coef_) #b1
print(model.intercept_)# b0
2.4.1 为什么要用reshape(-1,1) ?
reshape(1,-1)什么意思?
reshape(行数,列数)常用来更改数据的行列数目
一般可用于numpy的array和ndarray, pandas的dataframe和series(series需要先用series.values把对象转化成ndarray结构)
print(X)
print(x)
x = np.array(X)
print(X)
print(x)
X = [522,539,577,613,644,670,695,713,741,769,801,855,842,860,890,920]
print(X)
x = np.array(X)
print(x.shape)
print(x)
x = np.array(X).reshape(-1,1)#reshape(行数,列数)常用来更改数据的行列数目,reshape(-1,1)表示(任意行,1列)
print(x.shape)
print(x)
2.4.2 本节完整代码
import numpy as np
import pandas as pd
from sklearn import linear_model
# 相关性 案例一
investment = [20,40,20,30,10,10,20,20,20,30]
production = [30,60,40,60,30,40,40,50,30,70]
df = pd.DataFrame({'investment':np.array(investment),'production':np.array(production)})
print(df)
print(df.corr())
# 相关性 案例二
A = [250,360,165,43,92,200,355,290,230,120,73,205,400,320,72,272,94,190,235,139]
B = [35,29,36,60,65,30,10,70,21,55,54,48,20,39,60,20,58,40,27,30]
C = [3,4,7,6,5,5,6,10,9,2,12,5,5,4,8,5,7,8,9,7]
D = [6,10,3,9,6,5,7,10,11,5,4,1,15,7,6,8,3,11,8,5]
df = pd.DataFrame({'取暖费':np.array(A),'温度':np.array(B),'厚度':np.array(C),'年份':np.array(D)})
print(df)
print(df.corr()) # ABCD全部之间的相互和关系
print(df.corr()[u'温度'])# 温度和ABCD之间的关系
print(df[u'取暖费'].corr(df[u'温度'])) #取暖的费和温度之间的关系
# 相关性 案例三
X = [522,539,577,613,644,670,695,713,741,769,801,855,842,860,890,920]
Y = [6700,7136,7658,7784,8108,7583,8002,8442,8158,8683,9317,9675,8542,8584,9612,9719]
x = np.array(X).reshape(-1,1)#reshape(行数,列数)常用来更改数据的行列数目,reshape(-1,1)表示(任意行,1列)
y = np.array(Y).reshape(-1,1)# reshape(-1,1)表示(任意行,1列) reshape(1,-1)表示(1行,任意列)
model = linear_model.LinearRegression() #线性回归函数
model.fit(x,y) # fit函数主要用来计算一组数据的特征值,用于训练
print(model.coef_) #b1
print(model.intercept_)# b0
3 多元回归与梯度下降
3.1 简单例子
3.2 多元线性回归
3.3 梯度下降法
3.4 学习率
通常一开始,学习率步长大一点,到后面越来越接近了,学习率调小
3.5 梯度下降法 求解2.4例子:取暖费
A = [250,360,165,43,92,200,355,290,230,120,73,205,400,320,72,272,94,190,235,139]
B = [35,29,36,60,65,30,10,70,21,55,54,48,20,39,60,20,58,40,27,30]
C = [3,4,7,6,5,5,6,10,9,2,12,5,5,4,8,5,7,8,9,7]
D = [6,10,3,9,6,5,7,10,11,5,4,1,15,7,6,8,3,11,8,5]
## 梯度下降发 求解案例三:取暖费
x = np.array([B,C,D]).T
y = np.array(A).reshape(-1,1)
model = linear_model.LinearRegression()
model.fit(x,y) #训练训练模型
#
print(model.coef_)
print(model.intercept_)
#test
test = np.array([30,5,10]).reshape(1,3)
print('取暖费:',model.predict(test))
4 回归算法及应用 完整代码
import numpy as np
import pandas as pd
from sklearn import linear_model
## 相关性 案例一:投入和产出
investment = [20,40,20,30,10,10,20,20,20,30]
production = [30,60,40,60,30,40,40,50,30,70]
df = pd.DataFrame({'investment':np.array(investment),'production':np.array(production)})
print(df)
print(df.corr())
## 相关性 案例二:取暖费
A = [250,360,165,43,92,200,355,290,230,120,73,205,400,320,72,272,94,190,235,139]
B = [35,29,36,60,65,30,10,70,21,55,54,48,20,39,60,20,58,40,27,30]
C = [3,4,7,6,5,5,6,10,9,2,12,5,5,4,8,5,7,8,9,7]
D = [6,10,3,9,6,5,7,10,11,5,4,1,15,7,6,8,3,11,8,5]
df = pd.DataFrame({'取暖费':np.array(A),'温度':np.array(B),'厚度':np.array(C),'年份':np.array(D)})
print(df)
print(df.corr()) # ABCD全部之间的相互和关系
print(df.corr()[u'温度'])# 温度和ABCD之间的关系
print(df[u'取暖费'].corr(df[u'温度'])) #取暖的费和温度之间的关系
## 相关性 案例三:可支配收入与销售量
X = [522,539,577,613,644,670,695,713,741,769,801,855,842,860,890,920]
Y = [6700,7136,7658,7784,8108,7583,8002,8442,8158,8683,9317,9675,8542,8584,9612,9719]
x = np.array(X).reshape(-1,1)#reshape(行数,列数)常用来更改数据的行列数目,reshape(-1,1)表示(任意行,1列)
y = np.array(Y).reshape(-1,1)# reshape(-1,1)表示(任意行,1列) reshape(1,-1)表示(1行,任意列)
model = linear_model.LinearRegression() #线性回归函数
model.fit(x,y) # fit函数主要用来计算一组数据的特征值,用于训练训练模型
print(model.coef_) #b1
print(model.intercept_)# b0
## 梯度下降发 求解案例三:取暖费
x = np.array([B,C,D]).T
y = np.array(A).reshape(-1,1)
model = linear_model.LinearRegression()
model.fit(x,y) #训练训练模型
#
print(model.coef_)
print(model.intercept_)
#test
test = np.array([30,5,10]).reshape(1,3)
print('取暖费:',model.predict(test))