【阅读笔记】RAISR

RAISR:

• RAISR: Rapid and Accurate Image Super Resolution --Yaniv Romano, 2017(211 Citations)

核心思想

LR patch $A$与滤波器 $h$ 卷积 = HR像素 $b$

算法流程

offline阶段：X2SR

1、LR图通过bicubic插值，得HR初始图$Y$，$Y$的像素分为4个像素类型（P1-P4），分切$\sqrt{n}*\sqrt{n}$的patch

2、统计以P1像素类的像素$y_i$的patch内的h、v方向梯度信息$g_h$、$g_v$

3、根据$g_h$、$g_v$使用公式计算$y_i$的梯度angle、梯度strength、梯度coherence三种特征（类特征信息），P1像素类的像素根据三种特征归类；

其中，设置梯度Angle范围为[0,180]，分为24段；梯度Strength和梯度Coherence范围为[0, 1.0]，范围各分成3段。每个像素类的LR patch及其对应的HR patch可以分24x3x3=216梯度特征类中

4、假设Q包含一种梯度特征类的LR patch数据，V包含LR patch对应的HR patch数据，解最小二乘公式，得到每梯度特征类对应的h
$min_h \lVert Qh − V\rVert_2^2$
其中，h表示每个梯度特征类对应的滤波器（类映射关系）

online阶段：

1、input图用bilinear插值得到HR初始图$Y$，分切patch $y_i$

2、找到$y_i$的中心像素对应的像素类型

3、统计patch $y_i$的梯度信息，求出梯度(Angle,Strength,Coherence)

4、根据像素类型和梯度(Angle,Strength,Coherence)，在864个分类中，找到$y_i$对应的特征类型，提取对应滤波器

5、$y_i$和它对应的滤波器做卷积操作，得到patch $y_i$中心像素对应的HR图像素$x_i$

6、循环2-5步遍历全图$Y$，输出HR图$X$

(1-6步流程图见上图)

7、根据局部结构相似度修正HR图像异常像素点

(1-7步流程图见下图)

对训练图像集HR做锐化或对比度增强操作之后，再做训练。得到的滤波器可以使得重建图像清晰度、对比度更好，且不增加重建时间。

实验效果

filter滤波器大小 11x11，文本的滤波器用大小9x9