模型模块包括两部分：模型创建与权值初始化；模型创建又包括构建网络层（卷积层、池化层、激活函数层等）和拼接网络层（LeNet、AlexNet、ResNet等）；权值初始化有Xavier、Kaiming、均匀分布、正态分布等。

 

LeNet网络结构

pytorch每个batch都分层_pytorch每个batch都分层

运算示意图

pytorch每个batch都分层_存储管理_02

nn.module

  • torch.nn.Parameter：张量子类，表示可学习参数，如weight、bias
  • torch.nn.Module：所有网络层基类，管理网络属性
  • torch.nn.functional：函数具体实现，如卷积、池化、激活函数等
  • torch.nn.init：参数初始化方法
  • parameters：存储管理nn.Parameter类
  • modules：存储管理nn.Module类
  • buffers：存储管理缓冲属性，如BN层中的running_mean
  • ***_hooks：存储管理钩子函数
self._parameters = OrderedDict()
self._buffers = OrderedDict()
self._backward_hooks = OrderedDict()
self._forward_hooks = OrderedDict()
self._forward_pre_hooks = OrderedDict()
self._state_dict_hooks = OrderedDict()
self._load_state_dict_pre_hooks = OrderedDict()
self._modules = OrderedDict()

nn.module总结：

  1. 一个module可以包含多个子module
  2. 一个module相当于一个运算，必须实现forward()函数
  3. 每个module都有8个字典管理它的属性

模型容器与AlexNet构建

Containers

  • nn.Sequential：按顺序包装多个网络层
  • nn.ModuleList：像python的list一样包装多个网络层
  • nn.ModuleDict：像python的dict一样包装多个网络层

nn.Sequential是nn.module的容器，用于按顺序包装一组网络层

Sequential的特性：

  • 顺序性：各网络层之间严格按照顺序构建
  • 自带forward()：自带的forward里，通过for循环依次执行前向传播运算

nn.ModuleList是nn.module的容器，用于包装一组网络层，以迭代方式调用网络层的主要方法：

  • append()：在ModuleList后面添加网络层
  • extend()：拼接两个ModuleList
  • insert()：指定在ModuleList中位置插入网络层

nn.ModuleDict是nn.module的容器，用于包装一组网络层，以索引方式调用网络层主要方法：

  • clear()：清空ModuleDict
  • items()：返回可迭代的键值对（key-value pairs）
  • keys()：返回字典的键（key）
  • values()：返回字典的值（value）
  • pop()：返回一对键值，并从字典中删除

nn.Sequential：顺序性，各网络层之间严格按照顺序执行，常用于block构建

nn.ModuleList：迭代性，常用于大量重复网构建，通过for循环实现重复构建

nn.ModuleDict：索引性，常用于可选择的网络层

 

AlexNet

AlexNet：2012年以高出第二名10多个百分点的准确率获得ImageNet分类任务冠军，开创了卷积神经网络的新时代

AlexNet特点如下：

  1. 采用ReLU：替代饱和激活函数，减轻梯度消失
  2. 采用LRN(Local Response Normalization)：对数据归一化，减轻梯度消失
  3. Dropout：提高全连接的鲁棒性，增加网络的泛化能力
  4. Data Augmentation：TenCrop，色彩修改

参考文献：ImageNet Classification with Deep Convolutional Neural Networks