临床广泛使用的医学成像种类主要有X-射线成像 （X-CT）、核磁共振成像（MRI）、核医学成像（NMI）和超声波成像（UI）四类。目前，医学图像处理主要集中表现在病变检测、图像分割、图像配准及图像融合四个方面。
1、病变检测
计算机辅助检测（CAD）是医学图像分析的有待完善的领域，并且非常适合引入深度学习。在CAD 的标准方法中，一般通过监督方法或经典图像处理技术（如过滤和数学形态学）检测候选病变位置。
2、图像分割
医学图像分割就是一个根据区域间的相似或不同把图像分割成若干区域的过程。传统的图像分割技术有基于区域的分割方法和基于边界的分割方法，前者依赖于图像的空间局部特征，如灰度、纹理及其它象素统计特性的均匀性等，后者主要是利用梯度信息确定目标的边界。
3、图像配准
图象配准是图象融合的前提，是公认难度较大的图象处理技术，也是决定医学图象融合技术发展的关键技术。在临床诊断中，单一模态的图像往往不能提供医生所需要的足够信息，常需将多种模式或同一模式的多次成像通过配准融合来实现感兴趣区的信息互补。医学图像配准包括图像的定位和转换，即通过寻找一种空间变换使两幅图像对应点达到空间位置和解剖结构上的完全一致。
4、图像融合
图像融合的主要目的是通过对多幅图像间的冗余数据的处理来提高图像的可读性，对多幅图像间的互补信息的处理来提高图像的清晰度。多模态医学图像的融合把有价值的生理功能信息与精确的解剖结构结合在一起，可以为临床提供更加全面和准确的资料。融合图像的创建分为图像数据的融合与融合图像的显示两部分来完成。目前，图像数据融合主要有以像素为基础的方法和以图像特征为基础的方法。前者是对图像进行逐点处理，后者要对图像进行特征提取、目标分割等处理。融合图像的显示常用的有伪彩色显示法、断层显示法和三维显示法等。
