这主要是一个图像超分辨率重建的问题，其次是一个视频编码的问题。
图像超分辨率（Image Super Resolution）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前， 图像超分辨率研究可分为 3个主要范畴： 基于插值、 基于重建和基于学习的方法。
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。http://www.aas.net.cn/fileZDHXB/journal/article/zdhxb/2013/8/PDF/2013-8-1202.pdfwww.aas.net.cn
超分辨率技术分类
A.按领域分类
（1）基于频域的方法
主要是傅里叶变换及其逆变换。由于图像细节是通过高频信息反映出来的，所以消除低分辨率图像里的频谱混叠就可以获得更多被掩盖掉的高频信息，从而增加图像细节，提高图像的分辨率。
优点：原理清晰，理论推导方便，计算复杂度较低；
缺点：只适用于空间不变噪声的情况，只能处理图像中仅有整体运动而没有局部运动的情况，难于在处理过程中利用先验信息。
（2）基于空域的方法
空域的方法常利用图像局部的信息进行，增加像素的数量和紧密程度，从而增加图像细节，提高图像的分辨率。
优点：种类多，可将各种退化因素综合考虑，灵活性强；
缺点：设计复杂，计算复杂度较高。
B.根据所用低分辨率图像的数量分类
（1）基于单幅图像的超分辨率（SISR）
输出是单幅图像。 包含：图像放大（图像尺寸或像素的增加）、超分辨率复原（利用点扩散函数和目标的先验知识，在图像系统的衍射极限之外复原图像信息）。
（2）基于多幅图像的超分辨率（MISR）
输出的可以是单幅图像也可以是一个图像系列（常为视频）。其基本前提是通过同一场景可以获取多幅LR细节图像，每一幅LR图像都会为HR图像的复原提供一些不同的信息，如果能够合成这些HR图像，那么SR图像复原是可以实现的。
C.根据技术本身的特点分类
（1）基于重建的超分辨率
基于重建的超分辨率复原方法是对图像的获取过程建立观测模型，然后通过求解观测模型的逆问题来实现超分辨率重建。观测模型描述了成像系统从高分辨率场景 （图像）获取低分辨率观测图像的过程。
从本质上讲，利用单幅或多幅LR观测图像获取HR观测图像是求解观测问题的逆问题，它是一个病态反问题。
关键步骤：配准、重建。 配准是将多幅同一场景的LR图像在空间上进行亚像素精度对齐, 得到高低分辨率图像彼此之间的运动偏移量, 构建观测模型中的空间运动参数。重建是采用不同的先验约束条件 (平滑性、非负性和能量有限性等) 和最优化求解方法进行HR图像的求解。
典型方法：非均匀插值法、迭代反投影法、最大后验概率法（目前实际应用和科学研究中运用最多的一种方法）、凸集投影法。
（2）基于学习的超分辨率
借助预先的训练学习（从数据库）来寻找或建立低分辨率图像与其对应的高分辨率图像之间的映射关系，提取高频信息，从而在给定低分辨率图像的情况下，通过优化方法获得相应的高分辨率图像。
浅层学习：特征提取–>学习–>重建
深度学习：特征提取–>非线性映射–>图像重建
