神经网络结构绘制 神经网络构建

从 pytorch到nlp

第一章 pytorch 之构建神经网络

---

文章目录

• 从 pytorch到nlp

• 前言

• 一、构建神经网络的具体流程
• 二、代码及其解读

• 1.模型构建
• 2.查看模型参数
• 3.损失函数
• 4.反向传播
• 5.更新网络参数

• 总结

---

前言

---

一、构建神经网络的具体流程

1 定义一个拥有可学习参数的神经网络
2 遍历训练数据集
3 处理数据使其流经神经网络
4计算损失
5将网络参数的梯度进行反向传播
6依一定的规则更新网络权重

二、代码及其解读

1.模型构建

代码是在jupyter notebook 上运行

图解

代码如下（示例）：

import torch 
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):
     #定义Net的初始化函数，这个函数定义了该神经网络的基本结构
    def __init__(self):
        super(Net,self).__init__()#对继承自父类的属性进行初始化 复制并使用Net的父类的初始化方法，即先运行nn.Module的初始化函数
        self.conv1=nn.Conv2d(1,6,3)#输入1 输出6 卷积核是3*3 表示提取6个特征，得到6个feature map
        self.conv2=nn.Conv2d(6,16,3)#输入6输出16
    #全连接层定义了三层线性转换，16*6*6就是把这16个二维数组拍扁了后一维向量的size
        self.fc1=nn.Linear(16*6*6,120)
        self.fc2=nn.Linear(120,84)
        self.fc3=nn.Linear(84,10)
        #Linear有三个参数，分别是输入特征数，输出特征数以及是否使用偏置（默认为True）。
        #默认情况下Linear会自动生成权重参数和偏置，所以在模型中不需要单独定义权重参数，
        #并且Linear提供比原先自定义权重参数时使用的randn随机正太分布更好的参数初始化方法
    def forward(self,x):
            x=F.max_pool2d(F.relu(self.conv1(x)),(2,2))#将x放入卷积层中 用激活函数relu激活  在2*2池化窗口进行最大池化
            x=F.max_pool2d(F.relu(self.conv2(x)),2)#经历第二个卷积层
            x=x.view(-1,self.num_flat_features(x))#通过这个view()函数我们把二维数据变成了一维向量。 Convolution Layer和Fully Connected Layer的对接
            x = F.relu(self.fc1(x))
            x = F.relu(self.fc2(x))
            x = self.fc3(x)
            return x
    def num_flat_features(self,x)##使用num_flat_features函数计算张量x的总特征量
        size=x.size[1:]
        num_features=1
        for s in size:
             num_features*=s #累乘
        return num_features
net=Net()
net

运行结果

这里显示了实例化类 打印出来网络结构

这里我们的神经网络有五层 两个卷积层 三个全连接层

2.查看模型参数

params = list(net.parameters())
print(len(params))
params[0].size()#打印第一个参数的大小
params

假设输入图像维度是3232 输出参数是十个参数 大小110

然后就可以

3.损失函数

损失函数可以通过 输入（input，target）和标签的差值进行计算
torch.nn 中有很多损失函数 比如 nn.MSEloss 计算均方误差损失评估模型
代码如下（示例）：

output = net(input)
target = torch.randn(10) 
target = target.view(1, -1)  #改变target张量和output匹配
criterion = nn.MSELoss()

loss = criterion(output, target)
print(loss)

---

计算流程图 input ->conv2d->relu-> maxpool2d ->conv2d->relu->relumaxpool2d->view->linear->relu->linear->relu->linear->MSEloss->loss

反向传播 从有右向左

调用loss.backward()时，在整个计算图都会多loss进行微分，所有requires_grad=True的tensor张量的.都会累加到grad属性中。

不断追溯

4.反向传播

有了输出张量 就可以 进行梯度归零(net.zero_grad()将其所有参数（包括子模块的参数）的梯度设置为零调用backward()函数之前都要将梯度清零，因为如果梯度不清零，pytorch中会将上次计算的梯度和本次计算的梯度累加。)
和反向传播net.zero_grad() out.backward(torch.randn(1,10)) 调用 loss.backward() ，观察conv1 层bias的梯度反向传播前后的变化

net.zero_grad()     # 梯度归零

print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)

loss.backward()

print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

5.更新网络参数

随即梯度下降SGD
　weight = weight - learning_rate * gradient

import torch.optim as optim

#创建优化器
optimizer = optim.SGD(net.parameters(), lr=0.01)

# 清零
optimizer.zero_grad()   # zero the gradient buffers
#input 输入
output = net(input)
loss = criterion(output, target)
loss.backward()#对损失进行反向传播
optimizer.step()    # 真正的执行

总结

以上就是今天要讲的内容
我们学习了构建一个神经网络的典型流程
1.学习了损失函数的定义
采用torch.nn.MSEloss均方误差
通过loss.backward()进行反向传播时整张计算图将对loss进行自动求导所有属性require_grad=Ture 的Tensor将被参与到梯度求导运算中梯度累加到tensor属性。grad中
2. 学习了反向传播的计算方法
loss.backward()
进行梯度归零(net.zero_grad()将其所有参数（包括子模块的参数）的梯 度设置为零调用backward()函数之前都要将梯度清零，因为如果梯度不清零，pytorch中会将上次计算的梯度和本次计算的梯度累加。
net.zero_grad()
out.backward()
3. 学习了参数的更新方法
定义优化器来执行参数的优化更行
optimizer = optim.SGD(net.parameters(), lr=0.01)
4.通过优化器来执行具体的参数更新
optimizer.step() # 真正的执行