图像锐化,是使图像边缘更清晰的一种图像处理方法,细节增强(detail enhancement)我理解也包含了图像锐化,常用的做法是提取图像的高频分量,将其叠加到原图上。图像高频分量的提取有两种做法,一种是用高通滤波器,得到高频分量,另一种是通过低通滤波,用原图减低频得以高频。

直接提取高频的方法有sobel算法、laplcian算子,sobel算子是图像的一阶导数,提取的是梯度信息,分水平和垂直两种,常常用来做边缘检测、方向判别,sobel算子在斜坡处不为0,因此会产生较粗的边缘。laplcian算子是图像的二阶导,在图像开始变化和结束变化的地方值不为0,渐变时结果为0,因此laplacian比sobel算子更适合做sharpen。 
除了直接提取高频的方法外,我们也可以先提取低频,原图减去低频得到高频。这种方法称为非锐化掩模(unsharpen mask),我们常使用低通滤波器(高斯、双边)对图像进行滤波,这种方法滤波器很好控制(包括大小和强弱),从而可以控制高频分量的强弱。

使用UM方向做sharpen时,常常加入另外三个参数:跟滤波器相关的参数(高斯滤波器的半径和方差)、增强的阀值threshold、strength。

下面给出UM方法的三种实现:matlab、C和opencv。

Matlab: 
Matlab提供了库函数imsharpen,该函数使用UM方法进行sharpen,low-pass filter为gaussian kernel。下面是我实现的UM代码。先将rgb转到ycbcr color space,对Y做sharpen,cb/cr不做处理(最好是使用Y的结果做补偿,这样偏色少),最后再进行ycbcr2rgb的转换。

clc;
 clear;
 close all;
 imSrc = imread('D:\simuTest\picSimu\00_kodak_dataset\kodim05.png');
 imSrcYcbcr = rgb2ycbcr(imSrc);
 imSrcY = imSrcYcbcr(:,:,1);
 [hei, wid] = size(imSrc(:,:,1));
 size = 3;
 sigma = 1;  %gauss standard deviation sigma, default is 1
 amount = 1.5;
 threshold = 15;
 gaussFilter = fspecial('gaussian', [size, size], sigma);
 imSrcY_lf = imfilter(imSrcY, gaussFilter, 'symmetric');
 imSrcY_hf = imSrcY - imSrcY_lf;
 imLabel = (imSrcY_hf > threshold);
 imLabel = uint8(imLabel);
 imDstY = uint8(imSrcY + amount * imSrcY_hf .* imLabel);
 figure, imshow([imSrcY, imSrcY_lf, imSrcY_hf, imDstY]);
 imSrcYcbcr(:,:,1) = imDstY;
 imDst = ycbcr2rgb(uint8(imSrcYcbcr));
 figure, imshow([imSrc, imDst]);



输入输出图像如下所示,左边为sharpen前图像,右边为sharpen后图像。 

图像锐化算法python 图像锐化算法发展趋势_输入输出


C代码: 

C有着matlab无法比拟的速度优势。下面是我用C写的UM代码,Srcp为输入源图像,dstp为输出的锐化后的图像,sharpen_coef为定点化后的增强系数(0-64),threshold为增强的阀值(高频分量大于该阈值,才做增强,典型值为15),低通滤波器模板为{{1,2,1},{2,4,2},{1,2,1}}的高斯核。

void imageSharpenUM(const uint8 *srcp, uint8 *dstp, int src_width, int src_height, int src_pitch, int sharpen_coef, int threshold)
 {
     //int gaussianMat[3][3] = {{6, 43, 6}, {43, 317, 43}, {6, 43, 6}};
     int gaussianMat[3][3] = {{1, 2, 1}, {2, 4, 2}, {1, 2, 1}};
     int dstBlur;
     int dstTexture;
     int dstData;
     int dataSrc;
     int dstDetail;
     int src11 = 0;
     int src12 = 0;
     int src13 = 0;
     int src21 = 0;
     int src22 = 0;
     int src23 = 0;
     int src31 = 0;
     int src32 = 0;
     int src33 = 0;
     int a1 = gaussianMat[0][1];
     int a2 = gaussianMat[1][1];    for(int ver = 0; ver < src_height; ++ver){
         for(int hor = 0; hor < src_width; ++hor){
             if(ver==0 || ver==src_height || hor==0 || hor==src_width){
                 *(dstp + ver * src_pitch + hor) = *(srcp + ver * src_pitch + hor);
             }
             else{
                 src11 = *(srcp + (ver - 1) * src_pitch + hor - 1) * gaussianMat[0][0];
                 src12 = *(srcp + (ver - 1) * src_pitch + hor) * gaussianMat[0][1];
                 src13 = *(srcp + (ver - 1) * src_pitch + hor + 1) * gaussianMat[0][2];                src21 = *(srcp + ver * src_pitch + hor - 1) * gaussianMat[1][0];
                 src22 = *(srcp + ver * src_pitch + hor) * gaussianMat[1][1];
                 src23 = *(srcp + ver * src_pitch + hor + 1) * gaussianMat[1][2];                src31 = *(srcp + (ver + 1) * src_pitch + hor - 1) * gaussianMat[2][0];
                 src32 = *(srcp + (ver + 1) * src_pitch + hor) * gaussianMat[2][1];
                 src33 = *(srcp + (ver + 1) * src_pitch + hor + 1) * gaussianMat[2][2];                dataSrc = *(srcp + ver * src_pitch + hor);
                 dstBlur = uint8((src11 + src12 + src13 + src21 + src22 + src23 + src31 + src32 + src33) >> 4);
                 dstTexture = clip3(dataSrc - dstBlur,0, 255);
                 //*(dstp + ver * src_pitch + hor) = (dstTexture * sharpen_coef) >> 5;
                 if(dstTexture > threshold){
                     //dstData = clip3(dataSrc + (dstTexture * sharpen_coef) >> 5, 0, 255);
                     dstDetail = (dstTexture * sharpen_coef) >> 5;
                     dstData = clip3(dataSrc + dstDetail, 0, 255);
                     *(dstp + ver * src_pitch + hor) = dstData;
                 }
                 else{
                     *(dstp + ver * src_pitch + hor) = *(srcp + ver * src_pitch + hor);
                 }
             }
         }
     }
 }



OpenCV: 
使用opencv库中的GaussianBlur函数进行low-pass filter。

/*
 * 函数名:  sharpenUM
 * 说明:   使用非锐化掩模方法做锐化
 * 参数:
     threshold   :   控制最小的锐化阈值
     amount      :   0.5-1.5,控制overshoot的magnitude
 */
 Mat sharpenUM(Mat imageSrc, double threshold, double amount)
 {
     Mat blurred;
     double sigma = 1;
     GaussianBlur(imageSrc, blurred, Size(), sigma, sigma);
     //int depth = CV_MAT_DEPTH(imageSrc.type());
     Mat lowContrastMask = abs(imageSrc - blurred) < threshold;
     Mat dst = imageSrc*(1+amount) + blurred*(-amount);      //original + (original - blurred) * amount
     imageSrc.copyTo(dst, lowContrastMask);                  //将imageSrc中lowContrastMask对应的非0部分复制到dst中
     //lowContrastMask等于1时,说明高频分量比较小,有可能是噪声,此时不做锐化
     return dst;
 }



使用下面函数来调用sharpenUM,输入输出图像如下所示,上图是输入图像,下图是锐化后的输出图像。

imDst = sharpenUM(imSrc, 15, 2);

图像锐化算法python 图像锐化算法发展趋势_输入输出_02

图像锐化算法python 图像锐化算法发展趋势_bc_03



硬件实现时往往使用LUT来做,根据不同的strength及threshold、偏好设计好LUT,使用高频图像进行查表,将查表的结果叠加到原图上。