RAISR:

  • RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citations)

核心思想

LR patch $A$与滤波器 $h$ 卷积 = HR像素 $b$

算法流程

offline阶段:X2SR

2017211CitaRAISRTrain

1、LR图通过bicubic插值,得HR初始图$Y$,$Y$的像素分为4个像素类型(P1-P4),分切$\sqrt{n}*\sqrt{n}$的patch

2、统计以P1像素类的像素$y_i$的patch内的h、v方向梯度信息$g_h$、$g_v$

3、根据$g_h$、$g_v$使用公式计算$y_i$的梯度angle、梯度strength、梯度coherence三种特征(类特征信息),P1像素类的像素根据三种特征归类;

其中,设置梯度Angle范围为[0,180],分为24段;梯度Strength和梯度Coherence范围为[0, 1.0],范围各分成3段。每个像素类的LR patch及其对应的HR patch可以分24x3x3=216梯度特征类中

4、假设Q包含一种梯度特征类的LR patch数据,V包含LR patch对应的HR patch数据,解最小二乘公式,得到每梯度特征类对应的h $$ min_h \lVert Qh − V\rVert_2^2 $$ 其中,h表示每个梯度特征类对应的滤波器(类映射关系)

online阶段:

1、input图用bilinear插值得到HR初始图$Y$,分切patch $y_i$

2、找到$y_i$的中心像素对应的像素类型

3、统计patch $y_i$的梯度信息,求出梯度(Angle,Strength,Coherence)

4、根据像素类型和梯度(Angle,Strength,Coherence),在864个分类中,找到$y_i$对应的特征类型,提取对应滤波器

5、$y_i$和它对应的滤波器做卷积操作,得到patch $y_i$中心像素对应的HR图像素$x_i$

6、循环2-5步遍历全图$Y$,输出HR图$X$

(1-6步流程图见上图)

7、根据局部结构相似度修正HR图像异常像素点

(1-7步流程图见下图)

对训练图像集HR做锐化或对比度增强操作之后,再做训练。得到的滤波器可以使得重建图像清晰度、对比度更好,且不增加重建时间。

实验效果

filter滤波器大小 11x11,文本的滤波器用大小9x9

我的个人博客主页,欢迎访问

我的CSDN主页,欢迎访问

我的GitHub主页,欢迎访问