作者:胡耀武


这里先放对比结果图,原图来自网络:

VS基于OpenCV实现美颜相机 opencv美颜算法_java opencv磨皮算法

1. 算法的流程

[1] - 皮肤分割算法

[2] - 人脸关键点识别算法

[3] - 基于皮肤区域的祛斑算法

[4] - 基于皮肤区域的磨皮美白调色算法

[5] - 大眼瘦脸算法

[6] - 五官立体+腮红+唇彩+美瞳算法

1.1 皮肤分割算法

目前主流的语义分割等都可以实现,准确度要求较高。本人使用 U-net 和 PSPNet.

UNet网络结构如下:

VS基于OpenCV实现美颜相机 opencv美颜算法_OpenCV_02

PSPNet网络结构如下:

VS基于OpenCV实现美颜相机 opencv美颜算法_VS基于OpenCV实现美颜相机_03

1.2 人脸关键点识别算法

这一步可以使用商汤/Face++/虹软人脸SDK,这里使用的是虹软101点人脸SDK.

也可以自己训练人脸SDK,推荐使用mtcnn或者opencv人脸检测+CNN关键点网络.[MTCNN人脸检测与OpenCV关键点提取]()

1.3 基于皮肤区域的祛斑算法

这里祛斑算法如下:

[1] - 使用Sobel粗略提取斑点信息;

主要是基于梯度信息进行候选

[2] - 使用连通域判断得到最终斑点区域;

对候选区域进行进一步筛选

[3] - 结合高斯滤波+泊松融合来实现祛斑效果;

进行高斯滤波与修复

1.4 基于皮肤区域的磨皮美白调色算法

磨皮部分:通过高反磨皮算法对人像磨皮,结合皮肤区域得到精确磨皮效果;

美白调色部分:这一步通过PS中的曲线调节来得到美白调色的LUT,结合肤色区域进行Blend得到调色结果;

1.5 大眼瘦脸算法

基于人脸特征点+MLS变形或IDW反距离加权变形来实现大眼瘦脸算法;

1.6 五官立体+腮红+唇彩+美瞳算法

这一步通过人脸关键点来得到嘴唇和腮红区域,实现唇彩和腮红;

通过美瞳模板来实现美瞳算法;

通过双曲线调色来实现五官立体算法;彩妆部分可以看作者以前在公众号上发布的相关文章即可

2. 关键点

[1] - 精准的皮肤识别分割;

[2] - 精准的人脸关键点;

本算法使用opengl可在手机端实时处理.

3. Related