文章目录
- 1 使用PyTorch对数据处理
- 2 模型训练
- 3 训练过程可视化
前面我们已经建立好了一个神经网络的分类器Class。
使用PyTorch构建神经网络（详细步骤讲解+注释版） 01-建立分类器类
下面进行数据的读取与模型训练
1 使用PyTorch对数据处理
熟悉基础数据分析的同学应该更习惯使用Pandas库对数据进行处理，此处为了加深对PyTorch的理解，我们尝试使用PyTorch读取数据。这里面用到的包是torch.utils.data.Dataset。
在下面的代码中，分别定义了len方法与getitem方法。这两个方法都是python的内置方法，但是对类并不适用。这里通过重写方法使类也可以调用，并且自定义了getitem方法的输出
from torch.utils.data import Dataset
class MnistDataset:
def __init__(self, csv_file):
self.data = pandas.read_csv(csv_file)
pass
def __len__(self):
return len(self.data)
def __getitem__(self, index):
# 预期输出的张量制作
label = self.data.iloc[index,0]
target = torch.zeros(10)
target[label] = 1.0
# 图像数据标准化
image_values = torch.FloatTensor(self.data.iloc[index, 1:].values)/255.0
return label, image_values, targetlen方法起到了返回DataFrame大小的作用。
- label：获得了指定数据的第一个数值，也就是这个数据的标签；
- target：制作了一个维度为10的张量，标签对应的项是1，其他是0。比如，某个手写数据的标签是2，则这个张量是[0, 0, 1, 0, 0, 0, 0, 0, 0, 0]。
- image_values：像素输入的值是0-255，这里对像素数据做了标准化，是值位于0-1之间。
在MnistDataset类中，博主也看到有教程为其添加了绘画的功能，这个功能在实现神经网络的过程中，并不会起到实质性作用，但是可能有助于快速查看数据情况，所以我把代码放到这里，很简单大家自行学习就好。
class MnistDataset:
def plot_image(self, index):
arr = self.data.iloc[index, 1:].values.reshape(28, 28)
plt.title("label=" + str(self.data.iloc[index, 0]))
plt.imshow(arr, interpolation='none', cmap='Blues')
plt.show()可以使用这个功能查看数据集：
mnist_dataset = MnistDataset('数据集地址')
mnist_dataset.plot_image(123)截至目前，MnistDataset这个类的全部代码为
class MnistDataset:
def __init__(self, csv_file):
self.data = pandas.read_csv(csv_file)
pass
def __len__(self):
return len(self.data)
def __getitem__(self, index):
# 预期输出的张量制作
label = self.data.iloc[index, 0]
target = torch.zeros(10)
target[label] = 1.0
# 图像数据标准化
image_values = torch.FloatTensor(self.data.iloc[index, 1:].values) / 255.0
return label, image_values, target
# 制图
def plot_image(self, index):
arr = self.data.iloc[index, 1:].values.reshape(28, 28)
plt.title("label=" + str(self.data.iloc[index, 0]))
plt.imshow(arr, interpolation='none', cmap='Blues')
plt.show()
pass这是目前我们所完成的内容（蓝色部分位于上一篇博客）
2 模型训练
首先创建一个分类器类
C = Classifier()在训练过程中，我们可以只训练一轮，也就是训练集中的数据依次传入模型进行训练，也可以训练多轮，即一个数据集都传入一遍之后，在从头重复传入数据进行训练的这个动作。对于描述训练几轮有一个专有名词epochs，在写代码时通常会以这个单词作为变量名。
接下来我们执行三组循环：
epochs = 3
for i in range(epochs):
print('training epoch', i+1, 'of', epochs)
for label, image_data_tensor, target_tensor in mnist_dataset:
C.train(image_data_tensor, target_tensor)在mnist_dataset能够直接取数是因为我们之前定义了getitem方法。以上就是完整的训练过程。在训练时，每当完成一轮或完成10000组数据都会有相应的print（后者来自train方法）。如果我们还想知道这一过程花费的时间，还可以导入time包进行计算。这一部分的完整代码如下。
start_time =time.perf_counter() # 计时开始
C = Classifier()
epochs = 3
for i in range(epochs):
print('training epoch', i+1, 'of', epochs)
for label, image_data_tensor, target_tensor in mnist_dataset:
C.train(image_data_tensor, target_tensor)
end_time =time.perf_counter()
print('完成3个epochs需要的时间是', end_time-start_time)
一般情况下，使用个人电脑进行计算的话，每轮训练一般不超过10分钟。如果购买了Google Colab等付费在线服务器，这一过程还会更快。
3 训练过程可视化
在训练结束之后，如果希望查看训练次数与误差之间的关系，我们可以在Classifier类中定义一个可视化方法。首先在initial下，初始化一个用于记录损失的列表。
class Classifier(nn.Module):
def __init__(self):
# 用于展示训练进程的计数器和列表
self.counter = 0
self.progress = []接着在train方法下，每隔10个训练记录一次损失值，每隔10000个输出一次训练个数（也就是对应上面console截图的输出）。
class Classifier(nn.Module):
def train(self, inputs, targets):
# 进程可视化数据
self.counter += 1
if self.counter % 10 == 0:
self.progress.append(loss.item())
pass
if self.counter % 10000 == 0:
print("counter = ", self.counter)
pass最后，建立一个绘图的方法，使用matplotlib.pyplot（import as plt）绘制散点图。
class Classifier(nn.Module):
# 训练进程制图
def plot_progress(self):
df = pandas.DataFrame(self.progress, columns=['loss'])
df.plot(ylim=(0, 1.0), figsize=(16, 8), alpha=0.1, marker='.', grid=True, yticks=(0, 0.25, 0.5))
plt.show()这里的一些设置主要是控制绘图细节，比如ylim是坐标轴范围，alpha是透明度，yticks是网格位置等。这一部分如有兴趣也可以对matplotlib.pyplot进行专门学习。
在完善了类的相关方法后，再次进行训练就会自动保存误差数据，训练之后，我们使用：
C.plot_progess()就可以把图绘制出来了。
可以看出，随着训练次数的增加，损失下降还是比较明显的。
本系列文章使用不断迭代优化代码的方式进行撰写，以模块不断对代码进行补充方便大家理解。如果希望获取完整代码文件，直接文末留言或者到个人博客的资源区进行下载即可。完整代码下载链接 下一篇文章将会讲解如何评价模型表现与提升模型准确率
使用PyTorch构建神经网络（详细步骤讲解+注释版） 03 模型评价与准确率提升
