今天将分享Unet的改进模型MA-UNet,改进模型来自2020年的论文《MA-Unet: An improved version of Unet basedon multi-scale and attention mechanism for medical image segmentation》,简单明了给大家分析理解该模型思想。

1、MA-UNet网络优点

尽管卷积神经网络(CNN)促进了医学图像语义分割的发展,但是标准模型仍然存在一些不足。首先,在跳过连接操作中来自编码器和解码器子网的特征映射在语义上存在较大差异;其次,无法有效地对远程特征相关性进行建模。第三,忽略了不同规模的全局上下文信息。

论文的主要贡献概括如下:1.为了提高医学图像分割的性能并降低网络结构的复杂性,本文提出了一种MA-UNet模型,用于医学图像的语义分割。该模型使用了更轻量的AttentionU-net作为基本网络,然后引入了多尺度和注意力机制来获得最终的分割结果,比以前的UNet系列模型取得了更好的效果。2.本文提出了一种多尺度机制。该方法聚合由多个中间层生成的特征以进行预测,并整合和利用不同规模的全局信息。3.本文介绍了一种注意机制,以并行表示空间和通道维度的依赖性。该方法可以建立特征与注意力机制之间的关联,以探索全局上下文信息。4.将我们的模型与最近提出的UNet系列模型进行比较,实验结果表明,本文模型的结果比以前的模型取得了更好的结果,证实了该方法的有效性。

2、MA-UNet网络结构

Tensorflow入门教程(五十)——MA-UNet_二维

上图概述了所提出的MA-Unet框架。首先,将注意门机制(AGs)集成到Unet架构中,以消除跳过连接中无关紧要和噪声响应所引起的歧义,具体实现可以参考Tensorflow入门教程(三十一)——AttentionGatedVNet3D,仅合并相关的激活特征。然后,建立特征与关注机制之间的关联,以探索全局上下文信息,建立通道注意模块,以显式地建模通道之间的依赖关系,然后建立空间注意模块如下图所示,用于将更广泛的上下文信息编码为局部特征,提高局部特征的表示能力,并汇总这两个注意模块的特征。其中,空间注意模块结合了非局部和SEnet的优势,不仅可以像非局部一样建立有效的长距离依赖关系,而且可以像SEnet一样节省计算量,并且具有轻量级的优点。最后,将多尺度预测合并到体系结构中,并聚合多个中间层生成的特征以进行预测,从而利用不同尺度的全局信息。

Tensorflow入门教程(五十)——MA-UNet_建模_02

3、实验设置与结果

3.1、数据

肺分割数据集:它适用于肺分割的任务,即从肺结节分析(LUNA)挑战赛中分割2D CT图像中的肺结构。LUNA竞赛最初针对以下挑战赛道进行:结核检测和假阳性减少。因为分割肺是进一步肺结节候选的基础,所以我们使用挑战数据集来评估我们提出的网络结构MA-Unet。数据集包含534个二维样本(512×512像素)及其各自的标签图像。我们将80%的图像用于训练,其余的用于测试。

中山大学附属第一医院食道和食道癌数据集:它适用于食道和食道癌的分割任务,数据集包括13239个二维样本(80×80像素)及其各自的标签图像以进行训练,包括2949个二维样本(80×80像素)及其各自的图像 标签图像进行测试。

3.2、参数设置

使用Python3编程语言进行实验,并且使用Pytorch后端实现了网络模型。我们使用学习率为0.001的Adam优化器来训练所有网络。肺分割数据集的批量大小设置为1,训练迭代次数设置为50,中山大学附属第一医院食道和食道癌数据集的批量大小设置为8,训练迭代次数设置为100。损失函数是二进制交叉熵损失。

3.3、结果

论文模型与现有模型进行比较以验证该方法的有效性。选择医学图像分割任务中的最佳模型进行比较,即注意力U-net,CE-Net,UNet ++,Unet和Channel-UNet。表1和表2示出了相应的结果,图4和图5示出了相应的分割示例。

Tensorflow入门教程(五十)——MA-UNet_数据集_03

Tensorflow入门教程(五十)——MA-UNet_建模_04