RET-CLIP：眼科疾病诊断大模型

  • RET-CLIP模型的工作流程和架构
  • 图表组成部分
  • 工作流程
  • 精细拆解
  • 应用RET-CLIP模型进行糖尿病视网膜病变分级



 

论文：http://arxiv.org/pdf/2405.14137v1

代码：https://github.com/sStonemason/RET-CLIP

RET-CLIP 是在一个包含 193,865 名患者的数据集上专门训练的，用于提取彩色眼底照片（CFP）的一般特征，并采用三方优化策略，重点关注左眼、右眼和患者水平，以反映真实世界的临床场景。

实验证明，RET-CLIP 在糖尿病视网膜病变、青光眼、多种疾病诊断和多种疾病的多标签分类等四个关键诊断类别的八个不同数据集上的表现优于现有基准，这证明了我们的基础模型的性能和通用性。

RET-CLIP模型的工作流程和架构

RET-CLIP：眼科疾病诊断大模型_数据

图表组成部分

  1. 视觉编码器 (Visual Encoder)：
  • 接收来自左眼（Imgs_L）和右眼（Imgs_R）的眼底图像作为输入。
  • 图像经过视觉编码器处理，输出为左眼和右眼的特征表示。
  1. 文本编码器 (Text Encoder)：
  • 接收临床诊断报告的文本数据作为输入。
  • 文本通过文本编码器处理，输出为文本的特征表示。
  1. 相似性计算 (Similarity Calculation)：
  • 使用多层感知机（MLP）和连接操作符处理从视觉编码器和文本编码器得到的特征。
  • 特征表示包括左眼级别（L）、右眼级别（R）和患者级别（P）的特征。
  • 计算特征之间的相似性，通过这种方式训练模型更好地理解视觉信息和文本信息之间的关联。

工作流程

  • 图像输入：左眼和右眼的眼底图像分别输入到共享权重的视觉编码器中。
  • 文本输入：临床诊断报告输入到文本编码器。
  • 特征提取：每个编码器分别提取其输入数据的特征表示。
  • 特征合并：左眼、右眼和患者级别的图像特征与文本特征进行合并和对比学习。
  • 相似性度量：通过MLP和连接操作计算不同级别的特征之间的相似性。

这种结构允许模型在进行疾病分类和诊断时，充分利用图像和文本之间的多模态数据。

通过这种方式，模型能够更准确地理解和预测医学图像中的病理特征与临床报告中描述的病理状态之间的对应关系。

这不仅增强了模型对眼科疾病（如糖尿病视网膜病变）的诊断能力，也提高了其在真实世界临床应用中的实用性和准确性。

精细拆解

目的： RET-CLIP旨在通过结合视觉与语言信息，提升眼科疾病图像的自动诊断准确性，并增强模型在不同语言和多样化数据集上的泛化能力。

解法： RET-CLIP模型的解法可以拆解为以下几个子解法：

  1. 多模态数据预处理与整合：
  • 子解法：结合彩色眼底摄影（CFP）图像和对应的临床诊断报告，进行数据预处理和特征整合。
  • 之所以使用此子解法，是因为结合视觉与文本信息可以使模型更准确地理解医学图像和相关的临床描述，从而提高诊断的准确率。例如，在糖尿病性视网膜病变的诊断中，通过对视网膜图像和详细诊断报告的整合分析，模型可以更精确地标记出病变的程度。
  1. 视觉和文本编码器的设计与实现：
  • 子解法：采用基于ViT的视觉编码器和基于BERT的文本编码器分别提取图像和文本的特征。
  • 之所以使用这些编码器，是因为它们在各自的领域内已被证明能有效提取深层特征。特别是ViT编码器因其对图像中的局部和全局信息进行综合考量，适合处理医学图像中的复杂结构。
  1. 对比学习策略的应用：
  • 子解法：通过图像与文本特征之间的对比学习，增强模型对正负样本的区分能力。
  • 之所以采用对比学习，是因为它能够通过正负样本对的比较，有效地提升模型在未见过数据上的泛化能力。例如，在模型训练中，将与特定病症相对应的图像特征与正确和错误的文本描述进行对比，有助于模型更准确地识别和学习疾病特征。
  1. 多级别特征融合：
  • 子解法：在单眼和患者级别上进行特征融合，以提取更细致的视觉和文本信息。
  • 之所以进行多级别融合，是为了全面考虑个体差异及其对疾病影响的复杂性，这对于精确医疗至关重要。例如，通过比较同一患者左右眼的图像数据，模型可以更全面地理解疾病的双眼影响，进而提高诊断的全面性和准确性。

这些子解法共同构成了RET-CLIP的整体解决策略，每一步的设计都针对其最终目的—提高眼科疾病图像诊断的准确性和模型的泛化能力。

 
以糖尿病视网膜病变的分级为例来说明RET-CLIP模型的工作原理和效果：

糖尿病视网膜病变是一种与糖尿病相关的眼部并发症，可导致视力受损甚至失明。该病变的早期诊断和准确分级对于预防视力丧失至关重要。

应用RET-CLIP模型进行糖尿病视网膜病变分级

  1. 数据收集和预处理：
  • 子解法：收集患者的彩色眼底摄影（CFP）图像以及相应的详细临床诊断报告。
  • 理由：CFP图像能显示视网膜的细节，如微血管异常等早期病变迹象，而临床报告提供了关于病变进展的额外文本信息，这些都对模型训练至关重要。
  1. 特征提取：
  • 子解法：使用基于Vision Transformer的视觉编码器提取图像特征；使用基于BERT的文本编码器提取临床报告中的文本特征。
  • 理由：ViT编码器能够识别微小的病变特征，如微血管渗漏或视网膜厚度的变化；BERT编码器有效处理诊断报告中的详细描述，如视网膜厚度的具体数值或其他相关临床指标。
  1. 对比学习：
  • 子解法：在训练阶段，对图像和文本特征进行对比学习，以强化它们之间的相关性。
  • 理由：通过比较不同糖尿病视网膜病变等级的图像和对应的文本描述，模型学习区分无病变、轻微、中度、重度和增殖性视网膜病变的特征，提高分类的准确度。
  1. 多级别特征融合：
  • 子解法：综合单眼的图像特征，提取全面的患者级特征。
  • 理由：糖尿病视网膜病变可能在一个患者的两眼中表现不同。通过综合考虑两眼的信息，可以更准确地评估患者的整体状况和病变程度。

在实际应用中，RET-CLIP模型能够准确地从糖尿病患者的眼底图像中检测并分类糖尿病视网膜病变的严重程度。

模型结合了图像和文本数据，能够识别从轻微到重度的各级病变，并根据临床报告中的额外信息进行验证和精细调整。

这种精确的分级帮助医生制定更有效的治疗计划，预防视力进一步恶化。