Identity Mappings in Deep Residual Networks

转载

mb5fcdf35dba419 2017-11-22 16:41:00

文章标签 分类网络 ide c++ 网络框架 github 文章分类 代码人生

论文地址：Identity Mappings in Deep Residual Networks

Identity Mappings in Deep Residual Networks（译）

摘要

深度残差网络作为一种极深的网络框架，在精度和收敛等方面都展现出了很好的特性。在本文中，我们分析了残差块(residual building blocks)背后的计算传播方式，表明了当跳跃连接(skip connections)以及附加激活项都使用恒等映射(identity mappings)时，前向和后向的信号能够直接的从一个block 传递到其他任意一个block。一系列的“消融”实验(ablation experiments)也验证了这些恒等映射的重要性。这促使我们提出了一个新的残差单元，它使得训练变得更简单，同时也提高了网络的泛化能力。我们报告了1001层ResNet在CIFAR-10(4.62\% error) 和CIFAR-100上的结果，以及200层ResNet在ImageNet上的结果。代码可在 https://github.com/KaimingHe/resnet-1k-layers上下载。

介绍

Identity Mappings in Deep Residual Networks_c++
Fig.1 (a) 原始残差单元；(b) 本文提出的残差单元；右：1001层ResNets 在CIFAR-10上的训练曲线。实线对应测试误差(右侧的y轴)，虚线对应训练损失(左侧的y轴)。本文提出的单元使得ResNet-1001的训练更简单。