【前列腺数据增强】基于解剖学的变形方法
- 核心思想
- 解剖学信息引导
- 设计思路
- 具体步骤
- 总结
- 1. 问题识别与初步解决方案
- 2. 优化和实现的具体步骤
- 3. 提高方法的可应用性
核心思想
论文：https://arxiv.org/pdf/2309.03652.pdf
代码：https://github.com/MIC-DKFZ/anatomy_informed_DA
解剖学信息引导
现有的数据增强方法无法充分模拟前列腺和肿瘤形状的多样性。
作者提出，基于解剖信息引导的空间变换。
它能够模拟前列腺在邻近器官影响下的典型生理变形，从而在不改变病变标签的情况下生成独特的病变形状。
- 目的： 利用邻近器官的信息来模拟前列腺的典型生理变形，增加训练集中器官和肿瘤形状的多样性。
比如，模拟直肠扩张和不同距离的前列腺病变，以增加模型训练数据集的现实性和多样性。
你是医生，需要根据磁共振成像（MRI）来识别和评估前列腺癌病变。
现实中，患者的直肠【充盈】状态会在每次扫描中有所不同，这会影响前列腺和可能存在的癌病变的形状和位置。
- 一个患者的直肠如果较为【充盈】，可能会推压前列腺，使得病变在MRI图像上看起来与当直肠不那么充盈时有所不同。
在这种情况下，为了训练一个能准确识别前列腺病变的人工智能（AI）模型，你需要的不仅仅是一组标准状态下的前列腺MRI图像。
你需要的是一组包含了直肠各种充盈状态下的前列腺图像，这样AI模型才能学会在各种不同情况下识别病变。
这就是基于解剖学的数据增强方法的用处所在。
通过模拟直肠不同的扩张状态，比如模拟直肠完全【没有充盈（排空状态）】和模拟直肠【充盈（扩张状态）】，可以生成一系列变化的前列腺图像。
这样，即便是在临床实践中遇到前列腺因直肠不同充盈状态而变形的情况，AI模型也能准确地识别出病变。
以前的AI模型只训练了在直肠未充盈状态下的前列腺图像，它可能就不会识别出直肠充盈时前列腺形状的变化。
但是，如果使用了基于解剖学的数据增强方法，AI模型就会被训练来识别直肠状态如何影响前列腺的形状，并在实际应用中更准确地识别前列腺病变。
这就大大增加了模型在实际医疗环境中的可用性和准确性。
设计思路
这个方法之所以能提高前列腺癌检测的准确性，是因为他们搞了一个数学模型。
这个模型特别的地方在于，它能在不搞复杂计算的情况下，快速模拟前列腺和周围软组织的变化。
那怎么做的？
- 问题一是： 传统的有限元模型（数学上的仿真算法）太复杂了，不适合即时的数据增强。
- 解决这个问题，他们用了一个简化版的模型。
- 为什么这么做呢？ 因为这样可以让数据增强过程快多了，而且还能模拟出来像真的一样的变化。
- 这样做有啥好处？ 简化模型可以轻松插进在线训练程序里，这样我们就能看到膀胱或者直肠的变化怎么影响前列腺了。
- 问题二是： 我们怎么知道这个方法做出来的数据增强靠谱不靠谱呢？
- 为了验证，他们进行了一系列的图形和临床评估。
- 为啥要这么做？ 好让我们能直观地看到变形是否真实，还有医生们也能给出专业的评价。
- 这么做能带来什么？ 保证了新方法能造出既真实又有用的数据来训练。
基于解剖学的形变方法在模拟直肠不同生理状态下对MRI序列图像的影响：
- 左侧图像： 显示了模拟直肠排空（Rectal evacuation）的情况，这是通过设置变形控制参数 ( C ) 为 -1200 来实现的。
- 中间图像： 是原始的MRI图像，未经任何形变，即变形控制参数 ( C ) 设置为 0。
- 右侧图像： 表示模拟直肠扩张（Rectal distension）的情况，其中变形控制参数 ( C ) 设置为 1200。
在这三种情况的图像中，用不同颜色标出了直肠（橙色轮廓）和恶性病变（紫色轮廓）。
图像的上半部分是横截面视图（axial plane），下半部分是矢状面视图（sagittal plane）。
这种基于解剖学的形变方法可以模拟直肠的生理变化，如排空或膨胀，并观察这些变化如何影响邻近前列腺区域内病变的形状。
随着直肠状态的改变，恶性病变的轮廓也会发生变化。
这项技术可以增加MRI数据集中的多样性，有助于提高模型检测前列腺癌的能力。
- 问题三是： 这个新方法能不能真正提高我们的临床诊断能力呢？
- 所以，他们对这个方法进行了临床任务的评估。
- 为什么要评估？ 因为他们想用一些专业的标准来衡量这个方法在真实情况下的表现。
- 评估的意义在哪？ 让我们能够量化这个方法在真正的医疗任务中的效果。
上图，比较不同数据增强（DA）方案在前列腺癌检测任务上的表现。
表格部分列出了四种不同的数据增强方案及其在患者级别的部分下面积 ROC（pAUROC），F1得分和病变级别的自由响应操作特征（FROC）结果：
- 基础（参考）：这是未应用任何复杂数据增强的模型的表现。
- 随机弹性：使用随机弹性变形作为数据增强的模型表现。
- 3.a 提出（直肠）：只模拟直肠变形的基于解剖学的数据增强模型表现。
- 3.b 提出（直肠+膀胱）：同时模拟直肠和膀胱变形的基于解剖学的数据增强模型表现。
从图中可以看出：
- 基于解剖学的数据增强方案（3.a和3.b）在pAUROC，F1得分，和FROC上都超过了基础方案和随机弹性方案。
- 在PI-RADS ≥ 4的点上，基于解剖学的方案接近于放射科医生的诊断性能，这说明这些方案在临床上可能特别有用。
在实际医疗影像分析中，可能还需要考虑以下因素：
- 病变位置相关性： 如果您的数据集中膀胱附近的病变较多，或者这些病变的检测对诊断至关重要，那么考虑使用 3.b 提出（直肠+膀胱） 可能更加合适，因为它模拟了膀胱充盈对前列腺区域的影响。
- 实际临床场景： 如果诊断过程中更多关注的是病变检出率和避免漏诊（即更高的召回率），F1得分和FROC可能是更重要的指标，这时 3.b 提出（直肠+膀胱） 方案可能更受青睐。
- 问题四是： 如果病例不够多，或者病变太小，训练模型可能会不稳定。
- 为了解决这个，他们优化了裁剪策略和数据的预处理。
- 为什么要这么做？ 因为这样可以确保模型学到的是准确的信息，能够做出好的预测。
- 优化的目的是什么？ 为了让训练过程更加平稳，减少过拟合的风险。
此外，这个方法易于集成到现有的数据增强框架中，且不增加训练时间。
具体步骤
下图是，基于解剖信息的前列腺增强方法的具体步骤：
- MRI序列： 初始数据，展示了包含前列腺病变的磁共振成像（MRI）切片。
在图像中，不同颜色代表不同的结构，例如膀胱（蓝色轮廓）、前列腺病变（紫色轮廓）和直肠（橙色轮廓）。 - 3D生物力学模型： 利用MRI序列中的结构信息，创建一个3D模型来模拟邻近器官对前列腺形状的影响，这可能包括膀胱和直肠的填充变化所引起的生理变形。
- 数据增强： 通过在3D生物力学模型基础上应用变换来模拟实际生理过程中可能发生的变化，生成多样化的训练数据。
- 神经网络： 将经过数据增强后的图像用作输入数据，训练神经网络模型。
通过这样的训练，模型能够学习到不同的前列腺形态和病变的形状，从而提高对实际情况的泛化能力和诊断准确性。
整个流程的目标是通过模拟真实的生理变化来丰富训练数据集，增加模型对于前列腺癌检测的准确性和鲁棒性。
由于所提出方法的计算需求较轻，可以容易地集成到在线网络训练中。
总结
基于解剖学的变形方法用于提高前列腺癌诊断准确性的逻辑呈现一种链式结构，其中每个子问题和相应的解决方案是前后相连的环节，共同推进整体目标的实现。
1. 问题识别与初步解决方案
- 子问题1： 如何在AI模型训练中提高病变检测的灵敏度？
- 子解决方案1： 解剖学信息引导的数据增强。
- 原因： 在真实的医疗环境中，前列腺的形状和位置会因邻近器官（如直肠和膀胱）的生理状态变化而变化。AI模型需要学会在这些变化条件下识别病变，以提高其在实际情况下的应用性和准确性。
- 目的： 通过模拟这些生理变化，增加训练数据的多样性，从而提高模型的泛化能力和对前列腺癌病变的检测灵敏度。
2. 优化和实现的具体步骤
- 子问题2： 如何保证数据增强不会导致不真实的图像变形？
- 子解决方案2： 模拟真实器官变形的轻量级数学模型。
- 原因： 为了保证增强后的数据仍然保持其医学图像的真实性和可信度，需要一个能够准确模拟器官变形的模型，但又不会因复杂度过高而影响增强过程的效率。
- 目的： 确保生成的图像既反映了可能的生理变化，又保持了医学图像应有的真实性和细节，从而提高AI模型训练的质量和有效性。
3. 提高方法的可应用性
- 子问题3： 如何提高方法的可应用性并降低其局限性？
- 子解决方案3： 简化的数据增强框架集成。
- 原因： 要让这种基于解剖学的变形方法能够广泛应用于不同的医疗图像分析任务中，它需要易于集成到现有的AI训练框架中，且不显著增加计算负担。
- 目的： 通过简化数据增强过程和优化算法，使得这一方法不仅能提高模型的诊断性能，也能保持高效的训练过程，从而适应更广泛的临床应用需求。
通过这样的逐步优化和调整，最终目标是实现一种既准确又高效的前列腺癌检测AI模型，这个模型能够在多变的医疗图像条件下稳定工作，提高诊断的准确性和效率。
