LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation
PDF: ​​​https://arxiv.org/pdf/1912.06683.pdf​

​​ PyTorch代码: ​​https://github.com/shanglianlm0525/PyTorch-Networks​

LiteSeg模型,在Cityscapes数据集上针对640×360分辨率的图像以每秒161帧的速度,达到了67.81%的mIoU精度。

1 概述

提出一个新的更深层的Atrous Spatial Pyramid Pooling module (ASPP),并应用了(Long and short residual connection)长短残差连接以及(Depthwise Separable Convolution)深度可分离卷积,从而得到了一个更快、更有效的语义分割模型。

2 LiteSeg 网络结构图:

LiteSeg 主要基于Deeplab V3+修改而来,下面为两者的对比:

Deeplab V3+:

语义分割论文:LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation及其Pytorch实现_github

LiteSeg:

语义分割论文:LiteSeg: A Novel Lightweight ConvNet for Semantic Segmentation及其Pytorch实现_数据集_02

区别:

Encoder

  • DASPP在ASPP的每个3 x 3卷积后面再加一个3 x 3的卷积,同时将所有3 x 3的核由256减少为96;
  • 通过 short residual connection融合DASPP的输入和输出;

Decoder

  • 在原来的 3 × 3 卷积后面再添加一个3 × 3 卷积,同时将所有3 x 3的核由256减少为96;
  • 通过 long residual connection融合Backbone的第一阶段输出和Encoder输出;

Pytorch代码: