今天将继续分享从网络结构上进行改进提出SCSEVNet模型来分割脑肿瘤。为了方便大家学习理解整个分割流程,我将整个流程步骤进行了整理,并给出每个步骤的结果,希望对大家有所帮助。

一、SCSENet模块介绍

17年Momenta 胡杰团队提出Squeeze-and-Excitation Networks(简称 SENet)后BraTS18——多模态MR图像脑肿瘤分割挑战赛续4,有作者受到启发,提出了两种该方法的变体sSE和scSE。原始SE方法被作者称为cSE方法,这是通过压缩空间信息以获得衡量通道重要性的指标,并对原始特征进行重标定;sSE方法是通过压缩通道信息以获得衡量空间位置重要性的指标,并对原始特征进行重标定;scSE方法是同时进行上述两种不同重标定操作,并将它们的结果采用一定策略结合起来,文章中采用的策略有四种:(1)、最大值输出法,(2)、相加法,(3)、矩阵对应元素相乘法,(4)、按照通道方向上进行拼接。

BraTS18——多模态MR图像脑肿瘤分割挑战赛续5_模态


作者也提到scSE模块可以嵌入到网络结构中的任何位置处。

二、脑肿瘤图像分析与预处理

(1)、多模态MR脑肿瘤图像分析。

分析的过程基本上跟上一篇一致,这里就不多言了,直接从数据处理开始。

(2)、准备脑肿瘤分割数据。

首先将4个模态序列的MR原始图像进行合并生成4个通道的三维图像,原始图像大小都是(240x240x155x1),合并后大小是(240x240x155x4);

其次对Mask图像进行one-hot操作,将原始图像大小都是(240x240x155x1),生成大小是(240x240x155x4):通道0中非零值区域是背景区域,通道1中非零值是坏疽区域,通道2中非零值是浮肿区域,通道3中非零值是增强肿瘤区域;

最后对图像和Mask进行分块——取Patch操作,生成若干个(128,128,64)大小的图像和Mask,判断并输出非零的Mask和对应的图像。

三、脑肿瘤分割

(1)、搭建SCSEVNet3d模型,与VNet3d模型不同之处就是增加了scSENet模块,网络输入大小是(128x128x64)。

BraTS18——多模态MR图像脑肿瘤分割挑战赛续5_三维图像_02



(2)、loss采用的是多类Focalloss,具体实现可以点击原文链接查看具体代码。

(3)、训练的损失函数和精度如下图所示。

BraTS18——多模态MR图像脑肿瘤分割挑战赛续5_非零值_03

BraTS18——多模态MR图像脑肿瘤分割挑战赛续5_三维图像_04

(4)、脑肿瘤分割推理过程:首先将原始flair,T1,T2,T1ce图像一起读取进来并进行z-score标准化操作,然后将四个模态图像合并成4通道三维图像(240x240x155x4),输入到网络中去,网络输入大小是(240x240x48x4),在z方向上分块输入并拼接最终得到(240x240x155)分割结果。

(5)、进行了结果测试,左边是金标准图像,右边是预测结果图像,如下所示。

BraTS18——多模态MR图像脑肿瘤分割挑战赛续5_模态_05



了大家更好的学习,我把SCSEVNet网络代码分享到github上:

​https://github.com/junqiangchen/VNetFamily​

如果大家觉得这个项目还不错,希望大家给个Star并Fork,可以让更多的人学习。如果碰到任何问题,随时留言,我会尽量去回答的。