说在前面:
这部分内容有不少更新指出:
(1)这节课的内容跟上一节的递进关系,在于输入数据的维度,不再是原本的一维数值(标量 )
(2)而是升级为多维向量,这更符合多个自变量共同影响输出的实际应用场景;
(3)想起了吴恩达课程中的房价预测模型,卧室数量、厨房数量等,可以绑定在一起构成向量的形式,作为输入。
详细过程:
本课程的主要任务是通过将原本简单的标量输入,升级为向量输入,构建线性传播模型:
在导入数据阶段就有很大不同:
由于课程中导入的数据是anaconda安装工具包中的自带的压缩文本数据,所以直接采用numpy中的loadtxt读取,这个函数可以直接读取Linux下压缩的格式,此处是.gz;
后面还有两个参数,一个是分隔的字符类型,此处是逗号,另一个是数据的类型,刘老师在课程中讲,只有高端的显卡,才会读取double类型的数据,而普通的显卡读取float32;
将导入的数据,分成自变量和label,这是在文本文件中已经确定好了的,最后一列为y_data,其余为x_data;
创建Model类模型(有巨大变化,非常重要):
初始化init中,不再只有一个linear函数;
要根据线性层的输入和输出要求,自定义不同的self.linear,此处是8 → 6 → 4 → 1;其中两个参数分别为in_channel数量和out_channel数量;
接着,要跟一个Sigmoid函数,将最终的输出值,转为0-1区间上的概率值,这个内容是上一节中通过函数句柄F.sigmoid实现的,但此处的函数名称要大写,容易出错;
前向传播forward中,直接调用init中定义好的各层,此处要注意,输入为x,返回值也定义为x吧:x = self.sigmoid(self.linear1(x)),否则出错了不好排除问题,并且sigmoid是小写开头,因为在init中,定义的时候,是以小写开头定义的,注意逻辑;
此处跟后续修改内容有很强的联系,刘老师在本节课中没有做运行和输出训练损失曲线等,在其他笔记中找到了相关的内容,做了一个输出显示,在详情中可以查看;
程序如下:
import numpy as np
import torch
import matplotlib.pyplot as plt
xy = np.loadtxt('diabetes.csv.gz', delimiter=',', dtype=np.float32) # delimiter为指定分隔符
x_data = torch.from_numpy(xy[:, :-1]) # 所有行,从第一列开始,最后一列不要 xdata与ydata的结果均为tensor
y_data = torch.from_numpy(xy[:, [-1]]) # 所有行,只要最后一列,-1加了中括号是为了拿出的数据是矩阵
# 保证了x_data和y_data之间的计算是矩阵计算
class Model(torch.nn.Module):
def __init__(self):
super(Model, self).__init__()
self.linear1 = torch.nn.Linear(8, 6)
self.linear2 = torch.nn.Linear(6, 4)
self.linear3 = torch.nn.Linear(4, 1)
self.sigmoid = torch.nn.Sigmoid() # 给模型添加一个非线性变换
'''self.activate = torch.nn.ReLU()'''
def forward(self, x):
x = self.sigmoid(self.linear1(x))
x = self.sigmoid(self.linear2(x))
x = self.sigmoid(self.linear3(x))
return x
model = Model()
criterion = torch.nn.BCELoss(size_average=True) # 构造损失函数
optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 构造优化器 lr为学习率
epoch_list = [] # 权重
cost_list = [] # 对应权重的损失值
for epoch in range(1000):
y_pre = model(x_data) # 在前馈算y_hat
loss = criterion(y_pre, y_data) # 计算损失
print(epoch, loss.item())
epoch_list.append(epoch)
cost_list.append(loss.item())
optimizer.zero_grad() # 把所有权重的梯度归零
loss.backward() # 反馈
optimizer.step() # 更新
plt.plot(epoch_list, cost_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.grid()
plt.show()
运行结果如下:
输入维度8维,输出维度1维