图像融合技术可以提取自然光图像和红外图像的互补信息，获得对同一场景描述解释更为准确、全面和可靠的图像。像素级融合是常用于灰度图像与可见光图像的融合。基于源图像的彩色化就是源图像和目标图像的融合过程，使其同时兼有源图像的颜色和目标图像的形状、纹理等特征信息，达到整体颜色基调和谐、真实。
影响图像融合的主要因素：图像庞大数据量的处理、融合规则的选择等。
关于图像融合技术的应用研究，主要集中在夜视图像中微光图像和红外图像的彩色处理。
根据融合过程处理阶段的不同，红外图像和可见光图像的融合可以分为三个阶段：基于像素层面的融合、基于特征层面的融合和基于决策层面的融合。
像素级融合是一种比较底层的融合方式，融合前一般先对可见光和红外数据进行配准等预处理操作，然后将红外图片和可见光图片对应的各点像素值通过一定的策略合并计算出一个新的像素值，这样各点像素都进行融合后形成一幅新的融合图像。这种层面的融合方式对应设备的要求较高，一般计算量较大，不适合实时性需求。基于空间域的融合方法和基于变换域的融合方法是常用的像素级图像融合手段。
其中空间域融合方法包括：逻辑滤波法、加权平均法、数学形态法、图像代数法和模拟退火法等。
变换域方法包括金字塔图像融合法、小波变换图像融合法和多尺度分解法等。
1.MCA
图像分离技术是基于对图像进行多尺度分析的方法,在图像的分析、增强、压缩、复原等领域有效的信号和图像分解分离技术起着重要的作用。目前,研究者提出了很多方法来解决这个问题,实验结果并不完全理想。数字图像分离处理主要是通过利用信号和图像的成分来对信号和图像进行分析,主要有主成分分析、次成分分析、态成分分析等,人们认为,主要在信号重构和压缩、以及稀疏成分分析和独立成分分析、形抑制噪声和特征提取等方面的应用。所得到的图像观测值是由不同的源信号的混合信号。以线性瞬时信号为例,它是最简单的混合数学模型,为求解混合过程的逆过程,达到把不同的源信号分离出来的目的,即根据某些假设条件,已知的先验信息很少的情况下,我们仅仅从获得的混合信号中提取或恢复出源信号来。
独立成分分析方法是经典的方法,它假设源信号是独立统计的。目前,基于统计独立的假设条件,就像任何一种优秀的算法,有其适合的范围,但也比其他方法得到了较好的实验效果。在从现实应用而获得图片中,很多信号具有稀疏性,很多图像也具有稀疏性,人们也可以通过对这些信号和图像处理达到稀疏性,选择进行数学变换,达到其在变换域中能够得到实现较好的稀疏性的目标。事实论文表明把数据转换为稀疏表示,会极大提高分离的质量。当源信号是高度稀疏时,也就是说每个源信号在绝大多数的时刻取值为零或者接近零,只有在很少的时刻取值为非零或者较大值。此时,源信号可以由不同的基函数来表示,因为在独立假设中,两个源信号同时为有用信号的概率极低。在稀疏成分分析,中,就巧妙地利用了这一点进行分析。独立分量分析、稀疏成分分析,、非负矩阵分解等是近年来兴起的算法,都取得了较大进展。
Strack等人开辟了新的道路,他们提出了另外一种基于稀疏表示的对信号或图像进行分解的方法,形态成分分析MCA。该方法的思想是,在图像处理中,对于待分离图像中的任一形态,假设都存在着相应稀疏表示该层的字典,并且仅能够稀疏表示该层形态第二步,我们使用追踪算法以达到搜索最稀疏的表示的目的,产生符合研究目的的相对理想的分离效果。
形态成分分析,可以看成BP和MP算法的结合。方法核心用最优稀疏表示图像形态。图像分解成两个不同的形态卡通纹理分量。卡通分量包含了原图像的结构和轮廓信息，纹理分量包含了一些重复性的纹理信息。对于图像的卡通分量来说，其主要体现的是图像的一些结构信息和色彩信息，而人眼对应这类信息往往比较敏感的；同时，自然图像的卡通分量往往体现了原始图像中的大量的主要信息，因此融合卡通分量的目的是使这类信息更为突出。
2.RPCA
鲁棒主成分分析(Robust Principal Component Analysis，RPCA)是低秩矩阵恢复模型，已经在视频监控，计算机视觉等许多领域得到广泛应用。RPCA 可将数据矩阵表示为低秩矩阵和稀疏矩阵的叠加。早期已有研究者将其应用于多焦点图像融合源图像经 RPCA 分解之后得到源图像的稀疏矩阵和低秩矩阵。稀疏矩阵表示图像的显著特征，低秩矩阵包含图像的细节纹理等背景信息。分别融合后发现融合效果目标信息显著，效果较好。红外图像与可见光图像融合的主要目的是通过融合可以得到一幅兼具两幅图像特点的融合结果。融合图像中包含源图像的光谱信息隐藏目标可以更好的显示。目标物在图像中较为显著，因此会更有利于后续的应用。红外图像是一种热辐射成像，图像中的目标热源部分会非常突出，灰度值明显高于其他区域。
源图像经过 RPCA 变换后得到稀疏分量和低秩分量，分别表示不同的图像信息。在红外图像中，显著区域是相对背景比较突出的一部分图像内容。因此，稀疏分量的特征可以描述源图像的目标等显著信息，低秩矩阵建模为红外图像的主要背景信息。NSCT 作为一种多尺度变换，它可以多分辨率多方向的分解提取图像的信息。所以采用 NSCT 变换的方法融合源图像的低秩分量可以更好得到目标图像的低秩分量。在得到融合之后的低秩分量和稀疏分量后通过叠加可以得到融合结果。
3.稀疏表示
近年来，通过研究脑神经发现，当有信号(图像、声音等)刺激大脑时，人类大脑只利用一小部分神经元对输入的信号进行表示，既只提取了信号的关键特征，对冗余复杂的信号进行了简单的表示。学术界将人类大脑的这一功能特征称为稀疏表示。稀疏表示理论的主要思想是利用少量的字典原子来线性描述自然信号。由于其能很好的稀疏表示自然图像，因此近年来稀疏表示已经被广泛地应用于各个领域。
传统的稀疏基包括 FT、DCT和 DWT等。近些年，多尺度几何分析引起了大量学者和专家的关注。多尺度几何分析与小波变换不同，为了能较好地利用原函数的几何正则性，其变换基由小波变换中的“正方形”转 化为“长条形”，从而可以用最少的稀疏系数来逼近奇异曲线。因此，多尺度几何分析方法可以很好地表示原始图像的轮廓、边缘和纹理等拥有高维奇异性的几何特征。自多尺度几何分析方法被提出以来，已有大量的学者和专家对其理论和算法进行了深入的研究，且已有了一定可观的研究成果。
目前为止，多尺度几何分析方法主要可以分为两大类：自适应和非自适应多尺度几何分析方法。自适应多尺度几何分析方法是指图像变换的基函数随着图像内容的变化而变化，其主要有条带波(Bandelet)、楔形波(Wedgelet)、梳状波(Brushlet)、子束波(Beamlet)等。与此相反，非自适应多尺度几何分析方法的图像变换的基函数是固定不变的，与图像的内容并无直接的关系，主要有曲线波(Curvelet)、 轮廓波(Contourlet)和脊波(Ridgelet)等。
在多尺度几何分析之后，基于字典训练的稀疏表示方法吸引了大量学者和专家的研究。由于字典训练方法具有自适应性，因此其在图像融合、图像去噪和图像压缩等领域得到了广泛的应用，目前主流的字典训练算法有 MOD和 K-SVD等。 由于稀疏表示模型能有效地表示图像的本质特征，稀疏表示理论在图像处理领域得到了快速的发展，在图像识别、图像去噪、图像复原等领域中得到了广泛的应用。
2008 年，Wright 和 Yang等人提出了基于稀疏表示的分类方法，并将其应用于人脸识别中，该方法可有效地解决光照、表情、部分伪装、遮挡、腐蚀等问题，并具有较好的鲁棒性，他们为人脸识别技术的发展开辟了新的道路。在此基础上，Yuan等人提出了一种基于联合稀疏表示的图像分类方法，该方法分别将图像分解为颜色、轮廓、纹理等信息，然后利用联合稀疏公式求其联合稀疏系数，由此提高了分类的准确度。除此之外，稀疏表示理论在图像去噪中也得到了较好的应用。Elad[等人利用原始噪声图像作为训练样本，然后通过 K-SVD 算法训练得到过完备字典，并在图像去噪上取得了较好的效果。同时，Fadilil等人也将稀疏表示理论应用到图像修复中，该方法利用图像的稀疏性，可以较好的修复受损的图像。在此领域中，Mairal和 Peyre等人也分别相继提出了基于字典训练的彩色图像修复和图像纹理的生成算法。
稀疏表示理论在图像融合领域也得到了广泛的关注与应用。Yang 和 Li等人提出了一种基于稀疏表示的图像融合算法。该算法提出了利用滑动窗技术，将待融合图像分块，并利用L1范数对其进行稀疏表示得到稀疏系数，然后利用最大选择融合规则对其进行融合，最后重构得到融合图像。在此基础上，Yang 和 Li等人又提出了基于 SOMP (Simultaneous Orthogonal Matching Pursuit)的图像融合算法，利用该算法可以保证不同的待融合图像可以利用相同的原子进行稀疏表示，从而提高了融合后的图像的质量。除此之外，Yu等人提出了一种基于联合稀疏模型的图像融合方法。在该方法中，通过稀疏分解模型，将原始图像分解为公共部分和特有部分的稀疏系数，对特有部分稀疏系数进行融合并重构，最后与公共部分组成最终的融合图像。
