U − N e t U-Net U−Net

UNet是编码器-解码器架构，四次下采样（maxpooling)，四次上采样（转置卷积），形成了U型结构

应对小样本的数据集进行较快、有效地分割，能够泛化到很多应用场景中去

UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据)，较适用于医学图像分割。

《U-Net:Convolutional Networks for Biomedical Image Segmentation》
—医学图像分割卷积网络
作者：Olaf Ronneberger,etc,
单位：香港大学与德国弗莱堡大学
发表会议及时间：MICCA 2015

https://arxiv.org/abs/1505.04597

补充：ISBI挑战赛

ISBI: IEEE International Symposium on Biomedical lmaging(IEEE国际生物医学影像研讨会)
致力于涵盖所有观察规模的生物和生物医学影像的数学，算法和计算方面。ISBI是IEEE信号处理协会（SPS）和IEEE医学与生物学工程学会(EMBS）的一项联合计划。要求高质量的论文，包括图像形成和重建，图像处理和分析，动态成像，可视化，图像质量评估，大图像数据的机器学习以及物理，生物学和统计建模。
生物影像学已经在从诊断到个性化治疗再到对生物过程的机械理解的广泛应用中不断发展。对更健壮的方法以及与临床和分子数据集成的需求不断增长，该领域继续受到挑战

向下:图像尺寸降低，学习特征图向上:图像尺寸上升（还原)，输出图像分割
所有的图像分类、图像分割、目标检测等任务都包含向下的路径
然而向上的路径是图像分割任务特有的

一 论文导读

 

  • 医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。

U-Net_代码实现

应用

  • 处理对象∶各种不同成像机理的医学影像，主要有X-射线成像(X-CT)、核磁共振成像(MRI)、核医学成像(NMI)和超声波成像(UI)、电子显微镜成像(EM)
  • 应用方向:医疗教学、手术规划、手术仿真及各种医学研究
  • 应用场景:病变检测、图像分割、图像配准及图像融合
  • 应用思路∶首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，然后进行三维重建和三维显示，可以辅助医生对病变体及其它感兴趣区域进行定性甚至定量的分析，从而大大提高医疗诊断的准确性和可靠性

难点

1．数据量少。一些挑战赛只提供不到100例的数据
2．图片尺寸大。单张图片尺寸大、分辨率高，对模型的处理速度有一定的要求
3．要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高
4．多模态。以ISLES脑梗竞赛为例，其官方提供了CBF,MTT,CBV,TMAX,CTP等多种模态的数据

连接组学

连接组学绘制与研究神经连接组:一种刻画有机体神经系统(尤其是脑和眼）的连接方式的完整线路图。连接组学旨在全面地映射神经系统中发现的神经元网络的结构，以便更好地理解大脑如何工作。该过程需要以纳米级分辨率（通常使用电子显微镜)对3D脑组织进行成像，然后分析所得到的图像数据追踪大脑的神经节并识别各个突触连接。
由于成像的高分辨率，即使是1mm^3的脑组织也可以产生超过1,000TB
的数据.再加上这些图像中的结构可能非常微妙和复杂，构建大脑映射的主要瓶颈并不是获取数据本身，而是自动解释这些数据。

U-Net_处理速度_02

U-net的成果及意义

  • 赢得了ISBl cell tracking challenge 2015
  • 速度快，对一个512*512的图像，使用一块GPU只需要不到一秒的时间
  • 成为大多做医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络
  • UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据)，较适用于医学图像分割。

二 论文精读

 

  • 摘要

➢主要贡献:本文提出了一个网络和训练策略，使用数据增强，以便更有效的使用可用的带标签样本
➢网络结构:网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张路径用以精确定位
➢网络效果:该网络可以用很少的图片进行端到端训练，处理速度也比较快
➢实验结果:以很大的优势赢得了2015 ISBI细胞跟踪挑战赛

三 代码实现

 

U-Net_医学影像_03

U-Net_医学影像_04

四 问题思索